Московский государственный технический университет им. Н.Э. Баумана
____________________________________________________________

А.И.Орлов
 
Организационно-экономическое
моделирование

В трех частях

Часть 3

Статистические методы анализа данных

Допущено Учебно-методическим объединением вузов 
по университетскому политехническому образованию 
в качестве учебника для студентов высших учебных заведений,
 обучающихся по направлению «Организация и управление наукоемкими производствами» специальности «Менеджмент высоких технологий»

Издательство МГТУ им.Н.Э. Баумана
Москва 2010

Рецензенты:
кафедра «Системы управления экономическими объектами» 
Московского государственного авиационного института
 - технического университета (заведующий кафедрой, доктор экономических наук, профессор В.Д. Калачанов),
заместитель директора Института проблем управления РАН 
член-корреспондент РАН доктор технических наук Д.А. Новиков

Орлов А.И.
	Организационно-экономическое моделирование : учебник : в 3 ч.. / А.И.Орлов. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2010.  

	Ч. 3 : Статистические методы анализа данных. – 2010. – ХХХ с.

	Учебник посвящен современным методам анализа статистических данных. В первой части рассмотрены начала выборочных исследований и основные задачи описания данных, оценивания и проверки гипотез. Статистические методы анализа числовых данных, многомерный статистический анализ и статистические методы анализа динамики обсуждаются во второй части с непараметрической точки зрения; основные понятия теории статистического моделирования - в третьей части на примерах моделей экономики и управления (управления качеством, логистики, взаимовлияния факторов), экспертных исследований, медицины, социологии, демографии, истории, электротехники. Теоретическим инструментам, истории и перспективам развития статистических методов посвящена четвертая часть. Изложение соответствует рекомендациям Российской академии статистических методов.
	Материал учебника соответствует курсам лекций, которые автор читает в МГТУ им. Н.Э. Баумана.
	Для студентов и преподавателей вузов, слушателей институтов повышения квалификации, структур второго образования и программ МВА («Мастер делового администрирования»), инженеров различных специальностей, менеджеров, экономистов, социологов, научных и практических работников, связанных с анализом данных.

Содержание

Предисловие……………………………………………………………..10 

Введение. Статистические методы анализа данных 
как область научно-практической деятельности…….……………22
Литература…..…………………………………………………………..34

Часть 1. Основные постановки задач анализа данных

Глава 1. Выборочные исследования…………………………………36
1.1. Организация выборочных исследований………………………….36
1.2. Модели случайных выборок……………………………………….47
1.3. Доверительное оценивание доли…………………………………..51
1.4. Два прикладных выборочных исследования……………………...57
1.5. Проверка однородности двух биномиальных выборок…………..65
Литература……………………………………………………………….72
Контрольные вопросы и задачи………………………………………...73
Темы докладов, рефератов, исследовательских работ………………..74

Глава 2. Описание данных……………………………………………75
2.1. Модели порождения данных……………………………………….75
2.2. Таблицы и диаграммы………………………………………………87
2.3. Выборочные характеристики распределения……………………..90
2.4. Эмпирическая функция распределения…………………………...94
2.5. Непараметрические оценки плотности……………………………98
Литература……………………………………………………………...104
Контрольные вопросы и задачи……………………………………….105
Темы докладов, рефератов, исследовательских работ………………106

Глава 3. Оценивание………………………………………………….108
3.1. Методы оценивания параметров………………………………….108
3.2. Одношаговые оценки……………………………………………...122
3.3. Асимптотика решений экстремальных статистических задач….133
3.4. Робастность статистических процедур…………………………..142
3.5. Оценивание для сгруппированных данных……………………...147
Литература……………………………………………………………...159
Контрольные вопросы и задачи……………………………………….160
Темы докладов, рефератов, исследовательских работ………………161

Глава 4. Проверка гипотез…………………………………………..162
4.1. Метод моментов проверки гипотез………………………………162
4.2. Неустойчивость параметрических методов отбраковки 
выбросов...................................................................................................168
4.3. Предельная теория непараметрических критериев……………...175
4.4. Метод проверки гипотез по совокупности малых выборок…….190
4.5. Проблема множественных проверок статистических гипотез…202
Литература……………………………………………………...………211
Контрольные вопросы и задачи……………………………………….211
Темы докладов, рефератов, исследовательских работ………………212

Часть 2. Конкретные статистические методы 

Глава 5. Статистические методы анализа числовых выборок 
5.1. Оценивание основных характеристик распределения
5.2. Методы проверки однородности характеристик двух независимых 
выборок 
5.3. Двухвыборочный критерий Вилкоксона  
5.4. Состоятельные критерии проверки однородности независимых 
выборок
5.5. Методы проверки однородности связанных выборок
5.6. Проверка гипотезы симметрии
5.7. Реальные и номинальные уровни значимости в задачах 
проверки статистических гипотез
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 6. Многомерный статистический анализ 
6.1. Коэффициенты корреляции
6.2. Восстановление линейной зависимости между двумя 
переменными
6.3. Основы линейного регрессионного анализа
6.4. Статистические методы классификации
6.5. Методы снижения размерности
6.6. Индексы и их применение
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 7. Статистические методы анализа динамики
7.1. Методы анализа и прогнозирования временных рядов
7.2. Системы эконометрических уравнений
7.3. Оценивание длины периода и периодической составляющей
Литература
Контрольные вопросы
Темы докладов, рефератов, исследовательских работ

Часть 3. Вероятностно-статистическое моделирование

Глава 8. Основы вероятностно-статистического моделирования
8.1. Основные понятия теории статистического моделирования 
8.2. Демографические модели
8.3. Статистические модели движения товарных потоков
8.4. Статистические модели в истории
8.5. Вероятностно-статистическое моделирование помех, создаваемых электровозами
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 9. Статистические модели динамики
9.1. Метод ЖОК оценки результатов взаимовлияний факторов
9.2. Система моделей налогообложения
9.3. Моделирование и анализ многомерных временных рядов
9.4. Балансовые соотношения в системе ЖОК
Литература
Контрольные вопросы
Темы докладов, рефератов, исследовательских работ

Глава 10. Статистические модели управления качеством
10.1. Основы статистического контроля качества
10.2. Асимптотическая теория одноступенчатых планов 
10.3. Практическое применение статистического контроля 
10.4. Статистические методы управления качеством
10.5. Обнаружение разладки с помощью контрольных карт
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ
 
Глава 11. Статистические модели экспертных исследований
11.1. Примеры процедур экспертных оценок  
11.2. Основные стадии экспертного опроса 
11.3. Теория измерений и средние величины
11.4. Методы средних баллов 
11.5. Метод согласования кластеризованных ранжировок 
11.6. Математические методы анализа экспертных оценок 
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 12. Статистические модели в медицине
12.1. Новое компьютерно-статистическое мышление врача
12.2. Методы «доказательной медицины»
12.3. Медико-статистические технологии
12.4. Высокие статистические технологии в научных медицинских исследованиях
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 13. Статистические методы в социологии 
13.1. Развитие статистического инструментария социологов
13.2. Перспективы применения люсианов в социологии
13.3. Асимптотика квантования и выбор числа градаций в социологических анкетах
13.4. Социометрическое исследование – инструмент менеджера
13.5. Статистические методы в выборочных исследованиях научных организаций
13.6. Статистические методы в изучении способных к математике школьников
Литература
Контрольные вопросы 
Темы докладов, рефератов, исследовательских работ

Часть 4. Инструменты, история и перспективы 
статистических методов

Глава 14. Теоретические инструменты статистических методов
14.1. Законы больших чисел 
14.2. Центральные предельные теоремы
14.3. Теоремы о наследовании сходимости
14.4. Метод линеаризации
14.5. Принцип инвариантности 
14.6. Устойчивость выводов и принцип уравнивания погрешностей 
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 15. О развитии статистических методов 
15.1. Основные этапы становления статистических методов
15.2. Статистические методы в России 
15.3. Дискуссия о прикладной статистике
Литература
Контрольные вопросы
Темы докладов, рефератов, исследовательских работ

Глава 16. Современные статистические методы 
16.1. Точки роста
16.2. Высокие статистические технологии
16.3. Компьютерно-статистические методы
16.4. О методологии статистических методов
16.5. Основные нерешенные проблемы статистических методов  
Литература
Контрольные вопросы
Темы докладов, рефератов, исследовательских работ

Об авторе этой книги 

Предисловие 

	Статистические методы анализа данных активно применяются в технических исследованиях, экономике, теории и практике управления (менеджменте), социологии, медицине, геологии, истории и т.д. С результатами наблюдений, измерений, испытаний, опытов, с их анализом имеют дело специалисты во всех отраслях практической деятельности, почти во всех областях теоретических исследований. Настоящий учебник позволяет овладеть современными статистическими методами на уровне, достаточном для использования этих методов в научной и практической деятельности. 
	Содержание книги. Учебник состоит из введения и четырех частей, разбитых на 16 глав. Во введении обсуждается внутренняя структура статистических методов анализа данных – развитой области научно-практической деятельности.
	Часть 1 посвящена основным постановкам задач анализа данных – методам выборочных исследований, описания данных, оценивания и проверки гипотез. В главе 1 обсуждаются проблемы организации выборочных исследований на примере двух конкретных маркетинговых опросов. Разработаны модели случайных выборок, в том числе гипергеометрическая и биномиальная, методы доверительного оценивания доли и проверки однородности двух биномиальных выборок.
	В главе 2 обсуждаются модели порождения данных, методы их описания с помощью таблиц и диаграмм, выборочных характеристик и эмпирической функции распределения, непараметрических оценок плотности (в пространствах произвольной природы). Показано, что распределение результатов наблюдений (испытаний, испытаний, анализов, опытов), как правило, отличается от нормального. Как следствие, в учебнике большое внимание уделено непараметрическим методам анализа статистических данных. 
	Глава 3 посвящена методам оценивания параметров и характеристик. Разработаны и изучены одношаговые оценки для замены устаревших оценок максимального правдоподобия. Исследована асимптотика решений экстремальных статистических задач и устойчивость (робастность) статистических процедур. Оценивание для сгруппированных данных построено на основе современных вариантов формулы Эйлера-Маклорена и поправок Шеппарда.
	Для проверки гипотез в главе 4 разработан метод моментов, реализованный на примере гипотезы согласия с гамма-распределением. Продемонстрирована крайняя неустойчивость параметрических методов отбраковки выбросов, приводящая к выводу о невозможности их научно обоснованного использования. Построена предельная теория непараметрических критериев, опирающаяся на метод приближения ступенчатыми функциями. Разработан метод проверки гипотез по совокупности малых выборок для применения в асимптотике растущей размерности, когда число неизвестных параметров растет вместе с объемом данных. Обсуждается проблема множественных проверок статистических гипотез, актуальная при разработке высоких статистических технологий анализа данных.
	В части 2 рассматриваются конкретные статистические методы анализа данных различных типов. В главе 5 элементы выборки – это числа. Разобраны методы точечного и доверительного непараметрического оценивания основных характеристик распределения – математического ожидания, медианы, дисперсии, среднего квадратического отклонения, коэффициента вариации. Рассмотрены методы проверки однородности характеристик двух независимых выборок, обоснована необходимость использования непараметрического критерия Крамера-Уэлча вместо статистики Стьюдента, опирающейся на нереалистические предположения нормальности результатов измерений и совпадения дисперсий элементов двух выборок. Изучены свойства двухвыборочного критерия Вилкоксона, обосновано использование состоятельных критериев проверки однородности независимых выборок. Разработаны методы проверки однородности связанных выборок, в том числе на основе критериев проверки гипотезы симметрии. Обсуждается взаимосвязь реальных и номинальных уровней значимости в задачах проверки статистических гипотез.
	Глава 6 посвящена основным постановкам многомерного статистического анализа. Рассмотрены линейный (Пирсона) и непараметрические (Спирмена, Кендалла) коэффициенты парной корреляции. Обсуждается задача восстановления линейной зависимости между двумя переменными на основе непараметрического метода наименьших квадратов. Рассмотрены основы линейного регрессионного анализа, статистических методов классификации и методов снижения размерности. В конце главы 6 разобран индекс инфляции и его применения, в частности, при анализе уровня жизни и доходности банковских вкладов.
	Статистические методы анализа динамики обсуждаются в главе 7, в том числе методы анализа и прогнозирования временных рядов и системы эконометрических уравнений. В учебник включены оригинальные подходы к оцениванию длины периода и периодической составляющей сигналов.
	Статистические методы анализа нечисловых и интервальных данных не включены в часть 3 настоящего учебника. Они рассмотрены в части 1 (Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.), а в сокращенном виде – в иных изданиях, в частности, в выпущенных издательством «Экзамен» наших учебниках «Эконометрика» (2002, 2003, 2004), «Прикладная статистика» (2006) и «Теория принятия решений» (2006), в четвертом издании «Эконометрики», опубликованном издательством «Феникс» в 2009 г.
	Наибольшая по объему часть 3, включающая 6 глав, посвящена вероятностно-статистическому моделированию в различных областях применения. В главе 8 рассмотрены: основные понятия теории статистического моделирования; демографические модели; статистические модели движения товарных потоков в процессе работы склада (в другой терминологии – модели логистики); статистическое моделирование исторических процессов, позволившее существенно уточнить хронологию древнего мира и средневековья; вероятностно-статистическое моделирование помех, создаваемых электровозами, с целью сокращения расходов на защиту проводных линий связи.
	В главе 9 описан подход к моделированию взаимовлияний факторов методом ЖОК (название составлено из первых букв фамилий исследователей: Жихарев – Орлов – Кольцов). На основе этого метода разработана система моделей налогообложения и проанализированы макроэкономические балансовые соотношения. Рассмотрена эконометрическая база метода - моделирование и анализ многомерных временных рядов. 
	Статистические модели управления качеством – предмет обсуждения в главе 10. От основ статистического контроля качества переходим к асимптотической теории одноступенчатых планов, а затем – к практическому применению статистического контроля. Рассмотрен весь комплекс статистических методов управления качеством, в том числе методы обнаружения разладки с помощью контрольных карт, весьма актуальные не только для организации производства, но и в менеджменте.
	В главе 11 речь идет о статистическом моделировании в экспертных исследованиях. Приведены примеры процедур экспертных оценок, выделены основные стадии экспертного опроса. Для построения математической теории экспертных технологий важна общенаучная теория измерений. В качестве примера ее применения получены правила выбора вида средних величин в зависимости от типов шкал, в которых измерены ответы экспертов. Обсуждается использование методов средних арифметических и медиан баллов в сочетании с процедурами согласования кластеризованных ранжировок. Рассмотрены математические методы анализа экспертных оценок, в частности, расстояние Кемени и медиана Кемени в пространствах бинарных отношений. 
	Рассказ о статистических моделях в медицине (глава 12) начинается с обсуждения нового компьютерно-статистического мышления врача, основанного на методах «доказательной медицины». Рассмотрены: применение медико-статистических технологий в научных медицинских исследованиях; проблемы внедрения высоких статистических технологий.
	Завершаем часть 3 обсуждением статистических методов в социологии (глава 13). Проанализировано развитие статистического инструментария отечественных социологов за последние 30 лет. Подробнее обсуждаются некоторые математические методы в социологии - перспективы применения люсианов, асимптотика квантования и выбор числа градаций в социологических анкетах. Рассмотрен ряд практических применений статистических методов в социологии – в социометрических исследованиях, рассматриваемых как эффективный инструмент менеджера, в выборочных исследованиях научных организаций, в изучении способных к математике школьников.
	Заключительная часть 4 посвящена инструментам, истории и перспективам развития статистических методов. В главе 14 кратко рассмотрены такие теоретические инструменты статистических методов, постоянно используемые в предыдущих главах учебника, как законы больших чисел, центральные предельные теоремы, теоремы о наследовании сходимости, метод линеаризации, принцип инвариантности. В конце главы рассмотрены проблемы устойчивости статистических выводов и принцип уравнивания погрешностей. 
	О развитии статистических методов кратко рассказываем в главе 15. Обсуждаются основные этапы становления статистических методов (от Книги Чисел в Библии до наших дней). Статистические методы в России рассмотрены на примерах исследований А.Н. Колмогорова, Б.В.Гнеденко, Н.В. Смирнова, Л.Н. Большева, В.В. Налимова. Завершается глава рассказом о дискуссии 80-х гг., посвященной предмету и содержанию прикладной статистики.
	В завершающей книгу главе 16 речь идет о современных статистических методах и перспективах их развития. Выделены «точки роста» рассматриваемой научно-практической дисциплины. Введено понятие «высокие статистические технологии» и обоснована необходимость их развития. Обсуждается использование информационных технологий при анализе статистических данных, рассмотрены современные компьютерно-статистические методы. Дано представление о методологии статистических методов. Сформулированы основные нерешенные проблемы статистических методов. 
	В конце каждой главы приведен список процитированных литературных источников, контрольные вопросы и задачи, а также темы докладов, рефератов, исследовательских работ. Нумерация таблиц, рисунков, формул, теорем, примеров дана по главам (теорема 3.1 – это теорема 1 главы 3).
	Автор настоящего учебника около 40 лет постоянно занимается статистическими методами. Как практик и как теоретик. В учебник включены полученные им теоретические и практические результаты, как достаточно давние (70-х гг.), так и полученные в последние годы. Заинтересованные читатели проследят их по литературным ссылкам, которые пригодятся и для углубленного изучения материала. В конце учебника помещена краткая информация о деятельности автора как научного работника и преподавателя, о ранее выпущенных им монографиях, учебниках, учебных пособиях.
	Общее количество статей и книг по статистическим методам давно превысило 106, из них актуальными к настоящему времени являются, по нашей оценке, не менее 105. Конкретный специалист может овладеть несколькими тысячами из них. Следовательно, ни один исследователь не может претендовать на знакомство более чем с 2–3% актуальных публикаций, и в любом учебнике содержится лишь небольшая часть знаний, накопленных в области разработки и применения статистических методов. Однако автор надеется, что наиболее важные подходы, идеи, результаты и алгоритмы расчетов включены в учебник. Эта надежда основана на собственном сорокалетнем опыте теоретической и практической работы в области статистических методов, на совокупном опыте членов научных сообществ, скрупулезном анализе положения в нашей научно-прикладной дисциплине при создании Всесоюзной статистической ассоциации, Российской ассоциации статистических методов и Российской академии статистических методов. 
	В отличие от учебной литературы по математическим дисциплинам, в настоящей книге практически отсутствуют доказательства. Однако в нескольких случаях мы сочли целесообразным их привести. При первом чтении доказательства теорем можно пропустить. 
	О роли литературных ссылок в учебнике необходимо сказать достаточно подробно. Эта книга - замкнутый текст, не требующий для своего понимания ничего, кроме знания стандартных учебных курсов по высшей математике (включая теорию вероятностей и математическую статистику), которые преподаются студентам большинства вузов на первом и втором году обучения. Зачем же нужны ссылки? Доказательства всех приведенных в учебнике теорем приведены в ранее опубликованных статьях и монографиях. Читатель при подготовке рефератов и при желании глубже проникнуть в материал учебника может обратиться к спискам цитированной литературы. Каждая глава учебника — это введение в большую область статистических методов. Приведенные литературные ссылки помогут читателям выйти на передний край теоретических и прикладных работ, познакомиться с доказательствами теорем, включенных в учебник. За многие десятилетия накопились большие книжные богатства, и их надо активно использовать. 
	Включенные в учебник материалы прошли многолетнюю и всестороннюю проверку. Кроме МГТУ им. Н.Э. Баумана, они использовались при преподавании во многих других отечественных и зарубежных образовательных структурах. 
	Учебник включаем в серию книг по организационно-экономическому моделированию и высоким статистическим технологиям. В нем рассмотрены современные методы анализа данных, соответствующие последним научным достижениям отечественной вероятностно-статистической школы. Учебник подготовлен в рамках выполнения инновационной образовательной программы «Менеджмент высоких технологий» МГТУ им. Н.Э. Баумана. Отметим, что субъективные экспертные данные нет оснований противопоставлять объективным результатам измерений (наблюдений, испытаний, анализов, опытов), поскольку для их описания и анализа используются одни и те же вероятностно-статистические методы и модели. 
	Для кого написан учебник? Он предназначен для студентов и аспирантов различных специальностей, прежде всего технических, управленческих и экономических, слушателей институтов повышения квалификации, структур послевузовского (в том числе второго) образования, в частности, программ МВА («Мастер делового администрирования»), преподавателей вузов, сотрудников научно-исследовательских организаций и подразделений. Для автора базовыми являются специальности 220701 – «Менеджмент высоких технологий» - и 080507 – «Менеджмент организации». Материал учебника соответствует курсам лекций, которые автор читает в МГТУ им. Н.Э. Баумана для различных категорий студентов и слушателей.
	Учебник будет полезен инженерам, менеджерам, экономистам, социологам, биологам, медикам, психологам, историкам, другим специалистам, самостоятельно повышающим свой научный уровень. То есть всем научным и практическим работникам, имеющим отношение к анализу данных.
	Учебник может быть использован при изучении дисциплин, полностью или частично посвященных методам анализа результатов наблюдений (измерений, испытаний, опытов). Типовые названия таких дисциплин — «Организационно-экономическое моделирование», «Статистические методы», «Прикладная статистика», «Эконометрика», «Методы анализа данных», «Многомерный статистический анализ», «Общая теория статистики», «Планирование эксперимента», «Биометрика», «Теория принятия решений», «Управленческие решения», «Экономико-математическое моделирование», «Математические методы прогнозирования», «Прогнозирование и технико-экономическое планирование», «Хемометрия», «Математические методы в экономике», «Маркетинговые исследования», «Математические методы оценки», «Математические методы в социологии», «Математические методы в геологии» и т.п.
	Математикам - специалистам по теории вероятностей и математической статистике - эта книга также может быть интересна и полезна. В ней описан современный взгляд на статистические методы и прикладную математическую статистику, основные подходы и результаты в этой области, открывающие большой простор для дальнейших математических исследований.
	Благодарности. Книга написана в традициях отечественной вероятностно-статистической школы. Начало её современному этапу развития положил академик АН СССР А.Н. Колмогоров, а в области математической статистики – член-корреспондент АН СССР Н.В. Смирнов. Автор искренне благодарен своим учителям - академику АН УССР Б.Г. Гнеденко, члену-корреспонденту АН СССР Л.Н. Большеву, проф. В.В. Налимову. 
	Содержание учебника в своих основных чертах соответствует коллективному мнению отечественных специалистов. В 1990 г. была создана Всесоюзная статистическая ассоциация (ВСА), состоящая из четырех секций. Руководитель секции статистических методов А.И. Орлов был избран вице-президентом ВСА. В XXI в. развитие прикладной статистики продолжается в рамках Российской ассоциации статистических методов и Российской академии статистических методов. Автор искренне благодарен своим многочисленным коллегам, с которыми посчастливилось вместе работать в рамках наших профессиональных объединений.  
	По ряду причин исторического характера основное место публикаций научных работ по статистическим методам в нашей стране — раздел «Математические методы исследования» журнала «Заводская лаборатория», в котором напечатано более 60 научных статей автора, большинство из которых нашло отражение в настоящем учебнике. Искренне благодарен сотрудникам редакции, членам редколлегии и секции «Математические методы исследования».
	Выражаю признательность всему коллективу кафедры «Экономика и организация производства» и в целом научно-учебного комплекса «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э. Баумана, декану и членам Ученого совета, поддержавшим инициативу о введении статистических методов в учебный процесс. Автор искренне признателен заведующему кафедрой «Экономика и организация производства» проф. С.Г. Фалько за постоянную поддержку проектов по разработке и внедрению организационно-экономических, эконометрических и статистических курсов, декану проф. И.Н. Омельченко и заведующему кафедрой «Промышленная логистика» проф. А.А. Колобову за совместные научные исследования. 
	Автор благодарен своим многочисленным коллегам, слушателям и студентам, прежде всего различных образовательных структур Московского государственного технического университета им. Н.Э.Баумана, Московского физико-технического института, Российской экономической академии им. Г.В. Плеханова и Академии народного хозяйства при Правительстве Российской Федерации (программа «Топ-Менеджер»), за полезные обсуждения. Особая благодарность – участникам научных конференций и семинаров, коллегам по работе в Лаборатории экономико-математических методов в контроллинге, Институте высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана, Российской ассоциации статистических методов и Российской академии статистических методов.
	Спасибо рецензентам – сотрудникам кафедры «Системы управления экономическими объектами» Московского государственного авиационного института - технического университета (заведующий кафедрой проф., д.э.н. В.Д. Калачанов) и заместителю директора Института проблем управления РАН, члену-корреспонденту РАН проф., д.т.н. Д.А. Новикову. 
	Автор благодарен научному редактору В.И. Осипову, всем сотрудникам издательства за поддержку нашего научного направления и большую работу по подготовке рукописи к изданию.
	С текущей научной информацией по теории и практике статистических методов анализа данных можно познакомиться на сайте «Высокие статистические технологии» http://orlovs.pp.ru и его форуме http://forum.orlovs.pp.ru/, а также на странице Лаборатории экономико-математических методов в контроллинге http://www.ibm.bmstu.ru/nil/lab.html (на сайте научно-учебного комплекса «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э. Баумана). Достаточно большой объем информации содержит еженедельник «Эконометрика», выпускаемый с июля 2000 г. (http://subscribe.ru/catalog/science.humanity.econometrika ). Автор искренне благодарен своему сыну А.А. Орлову, разработчику и администратору сайта, редактору еженедельника за многолетний энтузиазм.
	Условия для написания книги создала моя любимая жена Л.А. Орлова. Спасибо!
	Включенный в учебник материал дает представление о теории и практике статистических методов анализа данных, соответствующее общепринятому в мире. Изложение доведено до современного уровня научных исследований в этой области. Конечно, возможны различные точки зрения по тем или иным частным вопросам. Автор будет благодарен читателям, если они сообщат свои вопросы и замечания по адресу издательства или непосредственно автору по электронной почте Е-mail: prof-orlov@mail.ru. 

Введение. Статистические методы анализа данных 
как область научно-практической деятельности

	Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью. 
	Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы): 
	а) разработка и исследование методов общего назначения, без учета специфики области применения;
	б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной предметной области деятельности;
	в) применение статистических методов и моделей для статистического анализа конкретных данных. 
	Кратко рассмотрим три только что выделенных вида научной и прикладной деятельности. По мере движения от а) к в) сужается широта области применения конкретного статистического метода, но при этом повышается его значение для анализа конкретной ситуации. Если работам вида а) соответствуют научные результаты, значимость которых оценивается по общенаучным критериям, то для работ вида в) основное - успешное решение конкретных задач той или иной области применения (техники и технологии, экономики, социологии, медицины и др.). Работы вида б) занимают промежуточное положение, поскольку, с одной стороны, теоретическое изучение свойств статистических методов и моделей, предназначенных для определенной области применения, может быть весьма сложным и математизированным, с другой - результаты представляют не всеобщий интерес, а лишь для некоторой группы специалистов. Можно сказать, что работы вида б) нацелены на решение типовых задач конкретной области применения.
	Прикладная статистика. Статистические методы анализа данных, относящиеся к группе а), обычно называют методами прикладной статистики. Таким образом, прикладная статистика – это наука о том, как обрабатывать данные произвольной природы, без учета их специфики [1]. 
	Математическая основа прикладной статистики и статистических методов анализа данных в целом – это математическая наука, известная под названием «теория вероятностей и математическая статистика». Прикладная статистика - другая область знаний, чем математическая статистика. Это очень четко проявляется в процессе обучения. Курс математической статистики состоит в основном из доказательств теорем, тогда как в курсах статистических методов главное - методология анализа данных и алгоритмы расчетов, а теоремы приводятся для обоснования этих алгоритмов, доказательства же, как правило, опускаются (их можно найти в научной литературе). Так построен и настоящий учебник. 
	Прикладная статистика – одна из статистических наук, она не относится к математике. Внутренняя структура статистики как науки была выявлена и обоснована при создании в 1990 г. Всесоюзной статистической ассоциации. Прикладная статистика - методическая дисциплина, являющаяся центром, идейным ядром статистики. Внутри прикладной статистики выделяют задачи описания данных, оценивания и проверки гипотез, рассмотренные в части 1 настоящего учебника. 
	Описание вида данных и, при необходимости, механизма их порождения – начало любого статистического исследования. Для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику иногда включают лишь методы, опирающиеся на теорию вероятностей, оставляя детерминированные методы экономической учебной дисциплине «Общая теория статистики». 
	Мы не считаем возможным противопоставлять детерминированные и вероятностно-статистические методы. Мы рассматриваем их как последовательные этапы статистического анализа. На первом этапе необходимо проанализировать имеющие данные, представить их в удобном для восприятия виде с помощью таблиц и диаграмм. Затем статистические данные целесообразно изучить на основе тех или иных вероятностно-статистических моделей. Возможность более глубокого проникновения в суть реального явления или процесса обеспечивается разработкой адекватной математической модели.
	В простейшей ситуации статистические данные – это значения некоторого признака, свойственного изучаемым объектам. Значения могут быть количественными или представлять собой указание на категорию, к которой можно отнести объект. Во втором случае говорят о качественном признаке.
	При измерении по нескольким количественным или качественным признакам в качестве статистических данных об объекте получаем вектор. Его можно рассматривать как новый вид данных. В таком случае выборка состоит из набора векторов. Есть часть координат – числа, а часть – качественные (категоризованные) данные, то говорим о векторе разнотипных данных. 
	Одним элементом выборки, т.е. одним измерением, может быть и функция в целом. Например, описывающая динамику показателя, т.е. его изменение во времени, - электрокардиограмма больного или амплитуда биений вала двигателя. Или временной ряд, описывающий динамику показателей определенной фирмы. Тогда выборка состоит из набора функций. 
	Элементами выборки могут быть и иные математические объекты, например, бинарные отношения. Так, при опросах экспертов часто используют упорядочения (ранжировки) объектов экспертизы – образцов продукции, инвестиционных проектов, вариантов управленческих решений. В зависимости от регламента экспертного исследования элементами выборки могут быть различные виды бинарных отношений (упорядочения, разбиения, толерантности), множества, нечеткие множества и т.д.
	Итак, математическая природа элементов выборки в различных задачах прикладной статистики может быть самой разной. Однако можно выделить два класса статистических данных – числовые и нечисловые. Соответственно прикладная статистика разбивается на две части – числовую статистику и нечисловую статистику. 
	Числовые статистические данные – это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки – это (классические) законы больших чисел и центральные предельные теоремы (см. главу 14).
	Нечисловые статистические данные – это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они - элементы нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия, псевдометрик) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т.д. (см. [1]).
	В прикладных исследованиях используют статистические данные различных видов. Это связано, в частности, со способами их получения. Например, если испытания некоторых технических устройств продолжаются до определенного момента времени, то получаем т.н. цензурированные  данные, состоящие из набора чисел – продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Цензурированные данные часто используются при оценке и контроле надежности технических устройств.
	Сведем информацию об основных областях прикладной статистики в табл. В.1. Модели порождения цензурированных данных входят в состав каждой из рассматриваемых областей.

Таблица В.1
Области прикладной статистики
№ п/п	Вид статистических данных	Область прикладной статистики	
1	Числа	Статистика (случайных) величин	
2	Конечномерные вектора 	Многомерный статистический анализ	
3	Функции	Статистика случайных процессов и временных рядов	
4	Объекты нечисловой природы	Статистика нечисловых данных (статистика объектов нечисловой природы)	

	В части 2 настоящего учебника рассматриваем статистические методы анализа данных первых трех типов. Это ограничение вызвано тем отмеченным выше обстоятельством, что математический аппарат для анализа данных нечисловой природы – существенно иной, чем для данных в виде чисел, векторов и функций. Статистика нечисловых данных рассмотрена в [1, 2, 3]. 
	Вероятностно-статистическое моделирование. При применении статистических методов в конкретных областях знаний и отраслях народного хозяйства получаем научно-практические дисциплины типа «статистические методы в промышленности», «статистические методы в медицине» и др. С этой точки зрения эконометрика - это «статистические методы в экономике» [3]. Эти дисциплины группы б) обычно опираются на вероятностно-статистические модели, построенные в соответствии с особенностями области применения. 
	Основная (как по идейному наполнению, так и по объему) часть 3 настоящего учебника посвящена статистическим методам и вероятностно-статистическому моделированию в различных областях деятельности – в технико-экономических исследованиях (логистике, управлении качеством, электротехнике), экономике и управлении (налогообложении, экспертных оценках, маркетинге), демографии, истории, медицине, социологии. 
	Весьма поучительно сопоставить вероятностно-статистические модели, применяемые в различных областях, обнаружить их близость и вместе с тем констатировать некоторые различия. Так, видна близость постановок задач и применяемых для их решения статистических методов в таких областях, как научные медицинские исследования, конкретные социологические исследования и маркетинговые исследования, или, короче, в медицине, социологии и маркетинге. Они часто объединяются вместе под названием «выборочные исследования». 
	Отличие выборочных исследований от экспертных проявляется в числе обследованных объектов или субъектов – в выборочных исследованиях речь обычно идет о сотнях, а в экспертных – о десятках. Зато технологии экспертных исследований гораздо изощреннее. Еще более выражена специфика в демографических или логистических моделях, при обработке нарративной (текстовой, летописной) информации или при изучении взаимовлияния факторов.
	При отборе вероятностно-статистических моделей для включения в учебник автор во многом исходил из имеющегося у него опыта решения конкретных прикладных задач, а также старался не повторять уже известный в литературе материал. Поэтому в учебнике не рассматриваются вопросы надежности и безопасности технических устройств и технологий, теории массового обслуживания, не описываются изощренные системы эконометрических уравнений, поскольку они подробно рассмотрены в литературе.
	Статистический анализ конкретных данных. Применение статистических методов и моделей для статистического анализа конкретных данных тесно привязано к проблемам соответствующей области. Результаты третьего из выделенных видов научной и прикладной деятельности находятся на стыке дисциплин (являются междисциплинарными). Их можно рассматривать как примеры практического применения статистических методов, как мы и делаем в настоящем учебнике. Но не меньше оснований относить их к соответствующей области деятельности человека. 
	Например, результаты опроса потребителей растворимого кофе (глава 1) естественно отнести к маркетингу (что мы и делаем, читая лекции по маркетинговым исследованиям). Исследование динамики роста цен с помощью индексов инфляции, рассчитанных по независимо собранной информации (разд. 6.6), представляет интерес с точки зрения экономики и управления народным хозяйством (как на макроуровне, так и на уровне отдельных организаций). 
	Примеры практического применения статистических методов включены практически во все главы учебника. Вполне естественно, что при отборе примеров предпочтение отдавалось исследованиям, в которых автор принимал непосредственное участие. Однако описание примеров практического применения статистических методов адаптировано для учебных нужд. Заказчики прикладных исследований получают отчеты, в которых проблемы соответствующих областей деятельности рассмотрены гораздо подробнее. Пример такого отчета - монография [4], посвященная подходам к проблеме вероятностно-статистического моделирования процессов налогообложения.
	О высоких статистических технологиях. Термин «высокие технологии» - популярный в современной научно-технической литературе - используется для обозначения наиболее передовых технологий, опирающихся на последние достижения научно-технического прогресса. Есть такие технологии и среди технологий статистического анализа данных - как в любой интенсивно развивающейся научно-практической области. Они подробно обсуждаются в настоящем учебнике. Их роль подчеркнута тем, что термин «высокие статистические технологии» вынесен в название электронного варианта настоящего учебника http://www.ibm.bmstu.ru/nil/biblio.html#books-03-hsstatan .  
	Обсудим этот пока не вполне привычный термин (он введен в статье [5], опубликованной в 2003 г.). Каждое из трех слов несет свою смысловую нагрузку.
	«Высокие», как и в других областях, означает, что статистическая технология опирается на современные достижения статистической теории и практики. Другими словами, математическая основа технологии получена сравнительно недавно в рамках соответствующей научной дисциплины; алгоритмы расчетов разработаны и обоснованы в соответствии с нею (а не являются т.н. эвристическими).
	Термин «статистические» привычен, он подробно разъясняется на протяжении всего изложения в настоящем учебнике. С нашей точки зрения, статистические данные – это результаты измерений, наблюдений, испытаний, анализов, опытов, а «статистические технологии» - это технологии анализа статистических данных.
	Наконец, сравнительно редко используемый применительно к статистике термин «технологии». Статистический анализ данных включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по более сложной схеме. Можно выделить следующие этапы:
	- планирование статистического исследования; 
	- организация сбора необходимых статистических данных по оптимальной или рациональной программе (планирование выборки, создание организационной структуры и подбор команды статистиков, подготовка кадров, которые будут заниматься сбором данных, а также контролеров данных и т.п.);
	- непосредственный сбор данных и их фиксация на тех или иных носителях (с контролем качества сбора и отбраковкой ошибочных данных по соображениям предметной области);
	- первичное описание данных (расчет различных выборочных характеристик, функций распределения, непараметрических оценок плотности, построение гистограмм, корреляционных полей, различных таблиц и диаграмм и т.д.), 
	- оценивание тех или иных числовых или нечисловых характеристик и параметров распределений (например, непараметрическое интервальное оценивание коэффициента вариации или восстановление зависимости между откликом и факторами, т.е. оценивание функции), 
	- проверка статистических гипотез (иногда их цепочек - после проверки предыдущей гипотезы принимается решение о проверке той или иной последующей гипотезы), 
	- более углубленное изучение, т.е. применение различных алгоритмов многомерного статистического анализа, алгоритмов диагностики и построения классификации, статистики нечисловых и интервальных данных, анализа временных рядов и др.; 
	- проверка устойчивости полученных оценок и выводов относительно допустимых отклонений исходных данных и предпосылок используемых вероятностно-статистических моделей, в частности, изучение свойств оценок методом размножения  выборок;
	- применение полученных статистических результатов в прикладных целях (например, для диагностики конкретных материалов, построения прогнозов, выбора инвестиционного проекта из предложенных вариантов, нахождения оптимальных режима осуществления технологического процесса, подведения итогов испытаний образцов технических устройств и др.), 
	- составление итоговых отчетов для тех, кто не является специалистами в статистических методах анализа данных, в том числе для руководства - «лиц, принимающих решения».  
	Возможны и иные структуризации статистических технологий. Квалифицированное и результативное применение статистических методов - это отнюдь не проверка одной отдельно взятой статистической гипотезы или оценка параметров одного заданного распределения из фиксированного семейства. Подобного рода операции - только отдельные кирпичики, из которых складывается статистическая технология. 
	Процедура статистического анализа данных – это информационный технологический процесс, т.е. информационная технология. Статистическая информация подвергается разнообразным операциям (последовательно, параллельно или по более сложным схемам). В настоящее время об автоматизации всего процесса статистического анализа данных говорить было бы несерьезно, поскольку имеется слишком много нерешенных проблем, вызывающих дискуссии среди статистиков.
	Программное обеспечение статистических методов. В настоящее время статистическая обработка данных проводится, как правило, с помощью соответствующих программных продуктов. Мы не сочли целесообразным включать в учебник ссылки на те или иные пакеты программ по нескольким причинам.
	Во-первых, популяции программных продуктов быстро обновляются. Пакеты программ, разработанные 10-15 лет назад, безнадежно устарели. Новые версии, как правило, весьма отличаются от предшественников десятилетней давности. В то же время лучшие книги 40-60-х гг. по статистическим методам остаются актуальными и сейчас. 
	Во-вторых, каждый программный продукт обладает определенными достоинствами и недостатками. Как показывает наш опыт [6], при сравнении нескольких пакетов программ крайне трудно сделать обоснованный вывод, какой из них следует предпочесть. 
	Между математической и прикладной статистикой имеется и с течением времени углубляется разрыв. Он проявляется в том, что большинство методов, включенных в статистические пакеты программ (например, в заслуженные Statgraphics и SPSS или в более новую систему Statistica), даже не упоминается в учебниках по математической статистике. В результате разрыва специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже - и разрабатывают) лица, не имеющие необходимой теоретической подготовки. Естественно, что они допускают разнообразные ошибки. Типовые ошибки при применении критериев согласия Колмогорова и омега-квадрат давно проанализированы в литературе (например, в статье 1985 г. [7] и учебнике [1]). Об удручающих результатах анализа государственных стандартов по статистическим методам управления качеством рассказано в главе 10.
	По оценкам экспертов, распространенные статистические пакеты программ обычно соответствуют уровню научных исследований 60-70-х гг. В них нет большинства статистических методов, включенных в современные учебники [1, 2, 3]. Впрочем, как показывает практика преподавания, студенты и слушатели легко реализуют новые статистические методы с помощью подручных вычислительных средств. 
	О перспективах развития статистических методов. Теория статистических методов нацелена на решение реальных задач. Поэтому в ней постоянно возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими средствами, т.е. путем доказательства теорем. Для удобства читателей сводка по теоретическим инструментам статистических методов представлена в главе 14. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента. Перспективам развития статистических методов посвящена заключительная глава 16 настоящего учебника.
	Актуальной является задача анализа истории статистических методов с целью выявления тенденций развития и применения их для прогнозирования. Попытка наметить пути такого анализа предпринята в главе 15.
	Ситуация с внедрением современных статистических методов на предприятиях и в организациях различных отраслей народного хозяйства внушает оптимизм. На отечественных предприятиях продолжают развиваться структуры, нуждающиеся в статистических методах, - подразделения качества, надежности, управления персоналом, центральные заводские лаборатории и другие. Толчок к развитию в последние годы получили службы контроллинга, маркетинга и сбыта, логистики, сертификации, прогнозирования и планирования, инноваций и инвестиций, управления рисками, экологии, которым также полезны различные статистические методы, в частности, методы экспертных оценок. Включенные в учебник методы необходимы органам государственного и муниципального управления, организациям силовых ведомств, транспорта и связи, медицины, образования, агропромышленного комплекса, научным и практическим работникам всех областей деятельности.
	У статистических методов анализа данных – большое будущее!

Литература

1. Орлов А.И. Прикладная статистика. Учебник для вузов. – М.: Экзамен, 2006. – 671 с.
2. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
3. Орлов А.И. Эконометрика. Учебник для вузов. Изд. 3-е, исправленное и дополненное. - М.: Экзамен, 2004. – 576 с.
4. Математическое моделирование процессов налогообложения (подходы к проблеме) / Орлов А.И., Кастосов М.А., Иванова Н.Ю. и др. - М.: Изд-во ЦЭО Минобразования РФ, 1997. – 232 с.
5. Орлов А.И. Высокие статистические технологии // Заводская лаборатория. - 2003. - Т.69. - №11. - С.55-60.
6. Орлов А.И. Математическое обеспечение сертификации: сравнительный анализ диалоговых систем по статистическому контролю // Заводская лаборатория. - 1996. - Т.62. - №7. - С.46-49.
7. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. - 1985. - Т.51. - №1. - С.60-62.

Часть 1. Основные постановки задач анализа данных

Глава 1. Выборочные исследования 
 
	Термин «выборочные исследования» применяют, когда невозможно изучить все единицы представляющей интерес совокупности. Приходится знакомиться с частью совокупности - с выборкой, а затем с помощью вероятностно – статистических методов и моделей переносить выводы с выборки на всю совокупность. Выборочные исследования посвящены практически важным способам получения и анализа статистических данных и поэтому составляют важный раздел статистических методов, эконометрики и прикладной статистики [1]. 

1.1. Организация выборочных исследований

	В качестве примера рассмотрим выборочные исследования предпочтений потребителей, которые часто проводят специалисты по маркетингу (изучению рынка).
	Оценивание функции спроса. Функция спроса часто встречается в учебниках по экономической теории, но при этом обычно не рассказывается, как она получена. Между тем оценить ее по эмпирическим данным не так уж трудно. Например, можно выяснять ожидаемый спрос с помощью следующего простого приема - спрашиваем потенциальных потребителей: «Какую максимальную цену Вы заплатили бы за такой-то товар?» Пусть для определенности выборка состояла из 20 опрошенных. Они назвали следующие максимально допустимые для них цены:
40, 25, 30, 50, 35, 20, 50, 32, 15, 40,
20, 40, 45, 30, 50, 25, 35, 20, 35, 40.
	 Сначала названные опрошенными величины упорядочим в порядке возрастания. Результаты представлены в табл.1.1. В первом столбце - номера различных численных значений (в порядке возрастания), названных потребителями. Во втором столбце приведены сами значения цены, названные ими. В третьем столбце указано, сколько раз названо то или иное значение.

Таблица 1.1 
Эмпирическая оценка функции спроса и ее использование
№ п/п (i)	Цена 	Повто-ры 	Спрос
	Прибыль
	Прибыль
	Прибыль 
	
1	15	1	20	100	0	-	
2	20	3	19	190	95	-	
3	25	2	16	240	160	0	
4	30	2	14	280	210	70	
5	32	1	12	264	204	84	
6	35	3	11	275	220	110	
7	40	4	8	240	200	120	
8	45	1	4	140	120	80	
9	50	3	3	120	105	75	

	Таким образом, 20 потребителей назвали 9 конкретных значений цены (максимально допустимых, или приемлемых для них значений), каждое из значений, как видно из третьего столбца, названо от 1 до 4 раз. Теперь легко построить выборочную функцию спроса в зависимости от цены. Она будет представлена в четвертом столбце, который заполним снизу вверх. Спрос как функция от цены р (от price (англ.) – спрос) обозначен D(p) (от demand (англ.) – спрос). Если мы будем предлагать товар по цене свыше 50 руб., то его не купит никто из опрошенных. При цене 50 руб. появляются 3 покупателя. Записываем 3 в четвертый столбец в девятую строку. А если цену понизить до 45? Тогда товар купят четверо – тот единственный, для кого максимально возможная цена - 45, и те трое, кто был согласен на более высокую цену – 50 руб. Таким образом, легко заполнить столбец 4, действуя по правилу: значение в клетке четвертого столбца равно сумме значений в находящейся слева клетке третьего столбца и в лежащей снизу клетке четвертого столбца. Например, за 30 руб. купят товар 14 человек, а за 20 руб. - 19.
	Зависимость спроса от цены - это зависимость четвертого столбца от второго. Табл. 1.1 дает нам девять точек такой зависимости. Зависимость можно представить на рисунке, в координатах «спрос – цена». Если абсцисса - это спрос, а ордината - цена, то девять точек на кривой спроса, перечисленные в порядке возрастания абсциссы, имеют вид:
(3; 50), (4; 45), (8; 40), (11; 35), (12; 32), 
(14; 30), (16; 25), (19; 20), (20; 15).
 Эти девять точек можно использовать для построения кривой спроса каким-либо графическим (сделайте чертеж!) или расчетным способом, например, методом наименьших квадратов (см. ниже главу 3). Кривая спроса, как и следует ожидать согласно учебникам экономической теории, убывает, имея направления от левого верхнего угла чертежа к правому. Однако заметны отклонения от гладкого вида функции, связанные, в частности, с естественным пристрастием потребителей к круглым числам. Заметьте, все опрошенные, кроме одного, назвали числа, кратные 5 руб.
	Расчет оптимальной цены. Данные табл. 1.1 могут быть использованы для выбора цены продавцом-монополистом. Или организацией, действующей на рынке монополистической конкуренции. Пусть расходы на изготовление или оптовую покупку единицы товара равны 10 руб. По какой цене ее продавать на том рынке, функцию спроса для которого мы только что нашли? Для ответа на этот вопрос вычислим суммарную прибыль, т.е. произведение прибыли на одной единице товара (p-10) на число проданных (точнее, запрошенных) экземпляров D(p). Результаты приведены в пятом столбце табл.1.1. Видно, что максимальная прибыль, равная 280 руб., достигается при цене 30 руб. за единицу товара. При этом из 20 потенциальных покупателей окажутся в состоянии заплатить за книгу 14, т.е. 70%.
	Если же удельные издержки производства, приходящиеся на одну единицу товара (или оптовая цена), повысятся до 15 руб., то данные столбца 6 табл.1.1 показывают, что максимальная прибыль, равная 220 руб. (она, разумеется, меньше, чем в предыдущем случае), достигается при более высокой цене - 35 руб. Эта цена доступна 11 потенциальным покупателям, т.е. 55% от всех возможных покупателей. При дальнейшем повышении издержек, скажем, до 25 руб., как вытекает из данных столбца 7 табл.1, максимальная прибыль, равная 120 руб., достигается при цене 40 руб. за единицу товара, что доступно 8 лицам, т.е. 40% покупателей. Отметьте, что при повышении оптовой цены на 10 руб. оказалось выгодным увеличить розничную лишь на 5, поскольку более резкое повышение привело бы к такому сокращению спроса, которое перекрыло бы эффект от повышения удельной прибыли (т.е. прибыли, приходящейся на одну проданную единицу товара). 
	Замечание. При более строгом подходе к использованию терминов надо вместо «прибыли» говорить о «маржинальной прибыли», а вместо «удельных издержек» – о «переменных издержках» (на одну единицу продукции), поскольку постоянные издержки не учитываем. Кроме того, спрос целесообразно выражать не в числе потребителей, а в процентах от общего числа потенциальных потребителей. Мы не сочли необходимым придерживаться подобных уточнений, поскольку цель настоящей главы – в демонстрации возможности использования в маркетинговых исследованиях подходов, основанных на организационно-экономическом статистическом моделировании.
	Представляет интерес анализ оптимального объема выпуска при различных значениях удельных издержек (табл.1.2).
	В табл. 1.2 звездочками указаны максимальные значения прибыли при том или ином значении издержек, не включенном в табл. 1.1. Для легкости обозрения результаты об оптимальных объемах выпуска и соответствующих ценах из табл. 1.1 и табл. 1.2 приведены в табл. 1.3. 
Таблица 1.2
Прибыль при различных значениях издержек
№ (i)	Цена 	Спрос
	Прибыль
	Прибыль
	Прибыль 
	Прибыль 
	Прибыль 
	
1	15	20	200	-	-	-	-	
2	20	19	285	0	-	-	-	
3	25	16	320	80	-	-	-	
4	30	14	350 *	140	0	-	-	
5	32	12	324	144	24	-	-	
6	35	11	330	165 *	55	0	-	
7	40	8	280	160	80 *	40	0	
8	45	4	160	100	60	40	20	
9	50	3	135	90	60	45 *	30 *	

Таблица 1.3 
Зависимость оптимального выпуска и цены от издержек
Издержки	5	10	15	20	25	30	35	40	
Оптимальный выпуск	14	14	11	11	8	8	3	3	
Цена	30	30	35	35	40	40	50	50	

	Как видно из табл. 1.3, с ростом издержек оптимальный выпуск падает, а цена растет. При этом изменение издержек на 5 единиц может вызывать, а может и не вызывать повышения цены. В этом проявляется микроструктура функции спроса – небольшое повышение цены может привести к тому, что значительные группы покупателей откажутся от покупок, и прибыль упадет. 
	Этот эффект напоминает известное в экономической теории разделение налогового бремени между производителем и потребителем. Неверно говорить, что производитель перекладывает издержки или, конкретно, налоги, на потребителя, повышая цену на их величину, поскольку при этом сокращается спрос (и выпуск), а потому и прибыль производителя.
	Дальнейшее ясно - если оптовая цена будет повышаться, то и дающая максимальную прибыль розничная цена также будет повышаться, и все меньшая доля покупателей сможет приобрести товар. Крайняя точка - оптовая цена, равная 45 руб. Тогда только трое (15%) купят товар за 50 руб., а прибыль продавца составит только 15 руб. Наглядно видно, что повышение издержек производства приводит к ориентации производителя на наиболее богатые слои населения. Но и повышение цен (до оптимального для монополиста-производителя уровня) не приводит к повышению прибыли, напротив, она снижается, и при этом большинство потенциальных потребителей не в состоянии купить товар.  
	Рыночные структуры не в состоянии обеспечить всех желающих – это просто не выгодно. Так, из 20 опрошенных лишь 14, т.е. 70%, могут рассчитывать на покупку, даже при минимальных издержках и ценах. Если общество желает чем-либо обеспечить всех граждан, оно должно раздавать это благо бесплатно, как это делается, например, с учебниками в школах.
	Описанный здесь метод оценивания спроса разработан в Институте высоких статистических технологий и эконометрики в 1993 г.
	Для изучения предпочтений потребителей часто используют более изощренные методы. Рассмотрим некоторые из них.
	Маркетинговые опросы потребителей. Потенциального покупателя интересует не только цена, но и качество товара, красота упаковки (например, для подарочных наборов конфет) и многое другое. Хочешь узнать, чего желает потребитель - спроси его. Эта простая мысль объясняет популярность маркетинговых опросов. 
	Бесспорно, что основная цель производственной и торговой деятельности - удовлетворение потребностей людей. Как получить представление об этих потребностях? Очевидно, необходимо опросить потребителей. В американском учебнике по рекламному делу [2] подробно рассматриваются различные методы опроса потребителей и обработки результатов с помощью методов эконометрики. Расскажем о результатах опроса потребителей растворимого кофе. Исследование проведено Институтом высоких статистических технологий и эконометрики по заказу фирмы АОЗТ «Д-2» в апреле 1994 г. в Москве. 
	Сбор данных. Один из важнейших разделов прикладной статистики – сбор данных. Обсудим постановку задачи в случае опроса потребителей растворимого кофе. Заказчика интересуют предпочтения как продавцов кофе (розничных и мелкооптовых), так и непосредственно потребителей. В результате совместного обсуждения было признано целесообразным использовать для опроса и тех, и других одну и ту же анкету из 14 основных и 4 социально-демографических вопросов с добавлением двух вопросов специально для продавцов. Анкета была разработана совместно представителями заказчика и исполнителя и утверждена заказчиком. В табл.1.4 приведен несколько сокращенный вариант этой анкеты.

Таблица 1.4 
Анкета для потребителей растворимого кофе (в сокращении)
__________________________________________________________
Дорогой потребитель растворимого кофе,
	Институт высоких статистических технологий и эконометрики просит Вас ответить на несколько простых вопросов о том, какой кофе Вы любите. Ваши ответы позволят составить объективное представление о вкусах российских любителей кофе и будут способствовать повышению качества этого товара на российском рынке.
1. Часто ли Вы пьете растворимый кофе: иногда, каждый день 1 чашку, 2-3 чашки, больше, чем 3 чашки.
(Здесь и далее подчеркните нужное.)
2. Что Вы цените в кофе: вкус, аромат, крепость, цвет, отсутствие вредных для здоровья веществ, что-либо еще (сообщите нам, что именно) ____________________________.
3. Как часто покупаете кофе: по мере надобности или по возможности?
4. Какую марку растворимого кофе Вы обычно покупаете? ______
5. Какой объем упаковки Вы предпочитаете: в пакетиках, маленькая банка, средняя банка, большая банка, обязательно стеклянная банка, все равно.
6. Где покупаете растворимый кофе: в ларьках, в продуктовых магазинах, в специализированных отделах и магазинах, все равно, где купить, где-либо еще (опишите, пожалуйста) ______________.
7. Были ли случаи, когда купленный Вами кофе оказывался низкого качества? Да, нет.
8. Согласны ли Вы, что за высокое и гарантированное  качество продукта можно и заплатить несколько дороже? Да, нет.
9. На сколько дороже Вы готовы платить за экологически безопасный кофе? _________________________________________
10. Считаете ли Вы нужным, чтобы вредные для здоровья вещества, в частности, ионы тяжелых металлов, не проникали из материала упаковки в растворимый кофе? Да, нет. 
	Мы планируем сравнить потребительские предпочтения различных категорий жителей нашей страны. Поэтому просим ответить еще на несколько вопросов.
11. Пол: женский, мужской.
12. Возраст: до 20, 20-30, 30-50, более 50.
13. Род занятий: учащийся, работающий, пенсионер, инженер, врач,  преподаватель, служащий, менеджер, предприниматель, научный работник, рабочий, др. (пожалуйста, расшифруйте).
14. Вся Ваша семья любит растворимый кофе или же Вы -  единственный любитель этого восхитительного напитка современного человека?  Вся семья, я один (одна).
	Спасибо за Ваше содействие работе по повышению качества  продуктов на российском рынке!

	Выбор метода опроса. Широко применяются процедуры опроса, когда респонденты (так социологи и маркетологи называют тех, от кого получают информацию, т.е. опрашиваемых) самостоятельно заполняют анкеты (розданные им или полученные по почте), а также личные и телефонные интервью. Из этих процедур нами выбрано личное интервью по следующим причинам.
	Возврат почтовых анкет сравнительно невелик (в данном случае можно было ожидать не более 5-10%), оттянут по времени и искажает структуру совокупности потребителей (наиболее динамичные люди вряд ли найдут время для ответа на подобную анкету). 
	Самостоятельное заполнение анкеты, как показали специально проведенные эксперименты, не позволяет получить полные ответы на поставленные вопросы. Респондент утомляется или отвлекается, отказывается отвечать на часть вопросов, иногда не понимает их или отвечает не по существу. Некоторые категории респондентов, например, продавцы в киосках, отказываются заполнять анкеты, но готовы устно ответить на вопросы.
	Телефонный опрос искажает совокупность потребителей, поскольку наиболее активных индивидуумов трудно застать дома и уговорить ответить на вопросы анкеты. Репрезентативность нарушается и потому, что на один номер телефона может приходиться различное количество продавцов и потребителей растворимого кофе, а некоторые из них не имеют телефонов вообще. Анкета достаточно длинна, и разговор по домашнему и тем более служебному телефону респондента может быть прекращен досрочно по его инициативе. Иногородних продавцов и потребителей растворимого кофе, приехавших в Москву, по телефону опросить практически невозможно.
	Метод личного интервью лишен перечисленных недостатков. Соответствующим образом подготовленный интервьюер, получив согласие на интервью, удерживает внимание собеседника на анкете, добивается получения ответов на все её вопросы, контролируя при этом соответствие ответов реальной позиции респондента. Ясно, что успех интервьюирования зависит от личных качеств и подготовки интервьюера. Однако расходы на получение одной анкеты при использовании этого метода больше, чем для других рассмотренных методов.
	Формулировки вопросов. В маркетинговых и социологических опросах используют три типа вопросов - закрытые, открытые и полузакрытые, они же полуоткрытые. При ответе на закрытые вопросы респондент может выбирать лишь из сформулированных составителями анкеты вариантов ответа. В качестве ответа на открытые вопросы респондента просят изложить свое мнение в свободной форме. Полузакрытые, они же полуоткрытые вопросы занимают промежуточное положение - кроме перечисленных в анкете вариантов, респондент может добавить свои соображения.
	В социологических публикациях, посвященных выборочным исследованиям, продолжается дискуссия по поводу «мягких» и «жестких» форм сбора данных. Т.е. фактически о том, какого типа вопросы более целесообразно использовать - открытые или закрытые.
	Преимущество открытых вопросов в том, что респондент может свободно высказать свое мнение так, как сочтет нужным. Их недостаток - в сложности сопоставления мнений различных респондентов. Для такого сопоставления и получения сводных характеристик организаторы опроса вынуждены сами шифровать ответы на открытые вопросы, применяя разработанную ими схему шифровки. 
	Преимущество закрытых вопросов - такую шифровку проводит сам респондент. Однако при этом организаторы опроса уподобляются древнегреческому мифическому персонажу Прокрусту. Как известно, Прокруст приглашал путников заночевать у него. Укладывал их на кровать. Если путник был маленького роста, он вытягивал его ноги так, чтобы они доставали до конца кровати. Если же путник оказывался высоким и ноги его торчали - он обрубал их так, чтобы достигнуть стандарта: «рост» путника должен равняться длине кровати. Так и организаторы опроса, применяя закрытые вопросы, заставляют респондента «вытягивать» или «обрубать» свое мнение, чтобы выразить его с помощью приведенных в формулировке вопроса возможных ответов.
	Ясно, что для обработки данных по группам и сравнения групп между собой нужны формализованные данные, и фактически речь может идти лишь о том, кто - респондент или маркетолог (социолог, психолог и др.) - будет шифровать ответы. В проекте «Потребители растворимого кофе» практически для всех вопросов варианты ответов можно перечислить заранее, т.е. можно широко использовать закрытые вопросы. В отличие от опросов с вопросами типа: «Одобряете ли Вы идущие в России реформы?», в которых естественно просить респондента расшифровать, что он понимает под «реформами» (открытый вопрос). Поэтому в используемой в описываемом проекте анкете использовались в основном закрытые и полузакрытые вопросы. Как показали результаты обработки, этот подход оказался правильным - лишь в небольшом числе анкет оказались вписаны свои варианты ответов. Вместе с тем демонстрировалось уважение к мнению респондента, не выдвигалось требование обязательного выбора из заданного множества ответов - респондент мог добавить свое, но редко пользовался этой возможностью (не более чем в 5% случаев).
	В последнем вопросе анкеты респонденту предлагалось стать постоянным участником опросов о качестве товаров народного потребления. Ряд респондентов откликнулся на это предложение, в результате стало возможным развертывание постоянной сети «экспертов по качеству», подобной аналогичным в США и других странах.

1.2. Модели случайных выборок

	Статистические методы выборочных исследований основаны на вероятностных моделях, описывающих получение ответов опрашиваемых на вопросы анкет. В случае ответов типа «да» - «нет» наиболее распространенными являются две вероятностные модели—биномиальная и гипергеометрическая. 
	В биномиальной модели предполагается, что ответы n опрашиваемых можно рассматривать как совокупность n независимых одинаково распределенных случайных величин Х1, Х2,....,Хn , где Хi  = 1, если i‑ый респондент сказал «да», и Хi = 0, если его ответ - «нет». Тогда число Х ответов «да» в выборке равно
Х= Х1+ Х2+...+ Хn .	(1.1)
	Из формулы (1.1) и Центральной предельной теоремы теории вероятностей (см. главу 14 настоящего учебника) вытекает, что при увеличении объема выборки n распределение Х сближается с нормальным распределением. Известно, что распределение Х имеет вид
Р(Х= k) =  Cnk pk (1—p)n-k , 	(1.2)
где Cnk - число сочетаний из n элементов по k, а p - доля ответов «да» в генеральной совокупности, т.е. p = Р(Хi = 1). Формула (1.2) задает биномиальное распределение, часто используемое при вероятностном моделировании реальных явлений и процессов.
	Гипергеометрическое распределение соответствует иной схеме - случайному отбору респондентов в выборку. Пусть среди N лиц, составляющих генеральную совокупность, имеется D лиц, чье мнение - «да». Случайность отбора респондентов в выборку означает, что каждое лицо имеет одинаковые шансы быть отобранным. Мало того, ни одна пара потенциальных респондентов не должна иметь при отборе в выборку преимущества перед любой другой парой. То же самое — для троек, четверок и т.д. Это условие выполнено тогда и только тогда, когда каждое из  сочетаний по n лиц из N имеет одинаковые шансы быть отобранным в качестве выборки. Вероятность того, что будет отобрано заранее заданное сочетание, равна, очевидно, 1/.
	Пусть Y —число сказавших «да» лиц в случайной выборке, организованной таким образом. Известно, что тогда P(Y = k) – гипергеометрическое распределение, т.е.
.		(1.3)
	Отбор случайной выборки согласно описанным правилам организуют при проведении различных лотерей. Например, отбирают 6 номеров из 49. Тогда генеральная совокупность состоит из 49 единиц (номеров), а выборка - из 6. В этом случае отбирают номера, а не респондентов, но вероятностная модель - та же. Удобно говорить, что генеральная совокупность и выборка состоят из единиц. В одном случае единицы - это люди (лица, потенциальные респонденты), в другом - номера. В статистических метода управления качеством рассматриваются единицы продукции - детали или изделия.
	Замечательный математический факт состоит в том, что биномиальная модель (1.2) и гипергеометрическая модель (1.3) весьма близки (с практической точки зрения совпадают), когда объем генеральной совокупности (партии) по крайней мере в 10 раз превышает объем выборки. Другими словами, можно принять, что
Р(Х = k) = P(Y = k),	(1.4)
если объем выборки мал по сравнению с объемом партии. При этом в качестве p в левой части формулы (1.4) берут D/N. 
	Близость результатов, получаемых с помощью биномиальной и гипергеометрической моделей, весьма важна не только с практической, но и с методологической точки зрения. Дело в том, что эти модели исходят из принципиально различных методологических предпосылок. В биномиальной модели случайность присуща каждому респонденту. Он с какой-то вероятностью отвечает «да», а с какой-то - «нет» (сумма этих вероятностей, очевидно, равна 1). В то же время в гипергеометрической модели ответ респондента полностью определен, а случайность проявляется лишь в отборе, вносится социологом или маркетологом при составлении выборки. 
	В науках о человеке противоречие между рассматриваемыми моделями выборки четко выражено. В среде специалистов, изучающих человека (маркетологов, социологов, психологов, политологов и др.) давно идет дискуссия о роли случайности в поведении человека. А именно, есть ли случайность в поведении отдельно взятого человека или же случайность проявляется лишь в отборе выборки из генеральной совокупности. 
	Биномиальная модель предполагает, что поведение человека, в частности, выбор им определенного варианта при ответе на вопрос, определяется с участием случайных причин. Например, человек может случайно сказать «да», случайно — «нет». Некоторые философы отрицают случайность, присущую поведению человека согласно биномиальной модели. Они верят в причинность и считают поведение конкретного человека практически полностью детерминированным (его взглядами, психофизиологическими особенностями, прежним опытом, наследственностью и др.). Поэтому они принимают гипергеометрическую модель и считают, что случайность отличия ответов в выборке от ответов во всей генеральной совокупности определяется всецело случайностью, вносимой при отборе единиц наблюдения в выборку.
	Сформулированные выше математические результаты (соотношение (1.4)) показывают, что позиция в этой давней дискуссии практически не влияет на алгоритмы обработки данных. Следовательно, во многих случаях нет необходимости принимать чью-либо сторону в этом споре, поскольку обе модели дают близкие численные результаты. 
	Отличия проявляются лишь при обсуждении вопроса о том, какую выборку считать представительной. В терминах контроля качества продукции - является ли таковой выборка, составленная из 20 изделий, лежащих сверху в первом вскрытом ящике? В биномиальной модели вполне допустим ответ «да», в гипергеометрической -  только «нет».
	Биномиальная модель легче для теоретического изучения, поэтому будем её рассматривать в дальнейшем. Однако при реальном опросе лучше формировать выборку, исходя из гипергеометрической модели. Это делают, выбирая респондентов из списка избирателей (для включения в выборку) с помощью датчиков псевдослучайных чисел на ЭВМ или с помощью таблиц псевдослучайных чисел. Алгоритмы формирования выборки встраивают во все современные программные продукты, предназначенные для поддержки проведения маркетинговых или социологических опросов, организации статистического контроля качества и др.
	Обоснование объема выборки и проведение опроса. Вернемся к анализу результатов опроса потребителей растворимого кофе, о котором шла речь в предыдущем разделе. Модели выборочных исследований часто опираются на предположение, что реальную выборку можно описывать как «случайную выборку из конечной совокупности». Типа той, когда из списков избирателей с помощью датчика случайных чисел отбирается необходимое число номеров для формирования жюри присяжных заседателей. В рассматриваемом исследовании нельзя обеспечить формирование подобной выборки - не существует реестра потребителей растворимого кофе. Однако в этом и нет необходимости. Поскольку гипергеометрическое распределение хорошо приближается биномиальным, если объем выборки по крайней мере в 10 раз меньше объема всей совокупности (в рассматриваемом случае это так), то правомерно использование биномиальной модели, согласно которой мнение респондента (ответы на все вопросы анкеты) рассматривается как случайный вектор, а все такие вектора независимы между собой. Другими словами, можно использовать модель простой случайной выборки. 

1.3. Доверительное оценивание доли

	Зачем проводятся выборочные исследования? Чтобы получить необходимую информацию о генеральной совокупности. Для этого необходимо перенести выводы с выборки на генеральную совокупность. Как и с какой точностью можно это сделать?
	Рассмотрим эту проблему для простейшего случая одного вопроса с двумя возможными ответами - «да» и «нет».
	Биномиальная модель выборки как раз и применяется для описания ответов на закрытые вопросы, имеющие две подсказки, например, «да» и «нет». Конечно, пары подсказок могут быть иными. Например, «согласен» и «не согласен». Или при опросе потребителей кондитерских товаров первая подсказка может иметь такой вид: «Больше люблю «Марс», чем «Сникерс»«. А вторая тогда такова: «Больше люблю «Сникерс», чем «Марс»».
	Пусть объем выборки равен n. Тогда ответы опрашиваемых можно представить как X1 , X2 ,…,Xn , где Xi = 1, если i-й респондент выбрал первую подсказку, и Xi = 0, если i-й респондент выбрал вторую подсказку, i=1,2,…,n. В вероятностной модели предполагается, что случайные величины X1, X2, …, Xn независимы и одинаково распределены. Поскольку эти случайные величины принимают два значения, то ситуация описывается одним параметром р - долей выбирающих первую подсказку во всей генеральной совокупности. Тогда 
Р(Xi = 1) = р, Р(Xi = 0)= 1 - р, i=1,2,…,n.
Пусть m = X1 + X2 +…+Xn . Оценкой вероятности р является частота р*=m/n. При этом математическое ожидание М(р*) и дисперсия D(p*) имеют вид
М(р*) = р, D(p*)= p(1-p)/n.
По Закону Больших Чисел (ЗБЧ) теории вероятностей (в данном случае - по теореме Бернулли) частота р* сходится (т.е. безгранично приближается) к вероятности р при росте объема выборки (см. главу 14). Это означает, что оценивание проводится тем точнее, чем больше объем выборки. Точность оценивания можно указать. Займемся этим.
	По теореме Муавра-Лапласа теории вероятностей

где - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1,

где = 3,1415925…-отношение длины окружности к ее диаметру, e = 2,718281828… - основание натуральных логарифмов. График плотности стандартного нормального распределения

был очень точно изображен на германской денежной банкноте в 10 немецких марок (до введения евро). Банкнота посвящена великому немецкому математику Карлу Гауссу (1777-1855), среди основных работ которого есть относящиеся к нормальному распределению. Эта подробность демонстрирует, что в Германии (и тем более в англосаксонских странах) гораздо шире распространено знакомство с основами теории вероятностей и математической статистики, чем в нашей стране.   
	В настоящее время нет необходимости вычислять функцию стандартного нормального распределения и ее плотность по приведенным выше формулам, поскольку давно составлены подробные таблицы (см., например, [3]), а распространенные программные продукты содержат алгоритмы нахождения этих функций.
	С помощью теоремы Муавра-Лапласа могут быть построены доверительные интервалы для неизвестной статистику вероятности. Из этой теоремы непосредственно следует, что

Поскольку функция стандартного нормального распределения симметрична относительно 0, т.е.  то справедливо полезное равенство 
	Зададим характеристику надежности переноса выводов с выборки на генеральную совокупность - доверительную вероятность , близкую к 1. Пусть функция  удовлетворяет условию

т.е.

Из последнего предельного соотношения следует, что 

	К сожалению, это соотношение нельзя непосредственно использовать для доверительного оценивания, поскольку верхняя и нижняя границы зависят от неизвестной вероятности. Однако с помощью метода наследования сходимости (см. главу 14 настоящего учебника) можно доказать, что

Следовательно, нижняя доверительная граница имеет вид

в то время как верхняя доверительная граница такова:

	Наиболее распространенным (в прикладных исследованиях) значением доверительной вероятности является  Иногда употребляют термин «95% доверительный интервал». Тогда  
	Пример 1. Пусть n = 500, m = 200. Тогда p* = 0,40. Найдем доверительный интервал для 

	Таким образом, хотя в достаточно большой выборке 40% респондентов говорят «да», можно утверждать лишь, что во всей генеральной совокупности таких от 35,7 до 44,3% - крайние значения отличаются на 8,6%. 
	Замечание. С достаточной для практики точностью можно заменить 1,96 на 2.
	Величина

называется ошибкой выборки. Обычно, как в примере 1, используют значение доверительной вероятности  и множитель 
	Удобные для использования в практической работе специалиста по выборочным исследованиям, маркетолога и социолога таблицы точности оценивания разработаны во ВЦИОМ (Всероссийском центре по изучению общественного мнения). Приведем здесь несколько модифицированный вариант одной из них (табл. 1.5).
 
Таблица 1.5 
Допустимая величина ошибки выборки (в процентах)
 Объем группы n	1000	750	600	400	200	100	
Доля р*, в %							
Около 10 или 90	2	3	3	4	5	7	
Около 20 или 80	3	4	4	5	7	9	
Около 30 или 70	4	4	4	6	9	10	
Около 40 или 60	4	4	5	6	8	11	
Около 50	4	4	5	6	8	11	

	В условиях рассмотренного выше примера надо взять вторую снизу строку. Объема выборки 500 нет в таблице, но есть объемы 400 и 600, которым соответствуют ошибки в 6% и 5% соответственно. Следовательно, в условиях примера целесообразно оценить ошибку как ((5+6)/2)% = 5,5%. Эта величина несколько больше, чем рассчитанная выше (4,3%). С чем связано это различие? Дело в том, что таблица ВЦИОМ связана не с доверительной вероятностью  а с доверительной вероятностью  которой соответствует множитель  Расчет ошибки по приведенным выше формулам дает 5,65%, что практически совпадает со значением, найденным по табл.1.5.
	Необходимый объем выборки. В биномиальной модели выборки оценивание характеристик происходит тем точнее, чем объем выборки больше. Часто спрашивают: «Какой объем выборки нужен?» Разработан ряд методов определения необходимого объема выборки. Они основаны на разных подходах. Либо на задании необходимой точности оценивания параметров. Либо на явной формулировке альтернативных гипотез, между которыми необходимо сделать выбор. Либо на учете погрешностей измерений (методы статистики интервальных данных). Ни один из этих подходов нельзя применить в рассматриваемом случае.
	Минимальный из обычно используемых объемов выборки n в  маркетинговых или социологических исследованиях - 100, максимальный - до 1000 и даже до 5000 и более (более 1000 - обычно в исследованиях, охватывающих ряд регионов страны, т.е. фактически разбивающихся на ряд отдельных исследований - как  в ряде исследований ВЦИОМ). По данным Института социологии Российской академии наук, среднее число анкет в социологическом исследовании не превышает 700. Поскольку стоимость исследования растет, по крайней мере, как линейная функция объема выборки, а точность повышается как квадратный корень из этого объема, то верхняя граница объема выборки определяется обычно из экономических соображений. Объемы пилотных исследований (т.е. проводящихся впервые, предварительно или как первые в сериях подобных) обычно ниже, чем объемы исследований по обкатанной программе.
	Нижняя граница определяется тем, что в минимальной по численности анализируемой подгруппе должно быть несколько десятков человек (не менее 30), поскольку по ответам попавших в эту подгруппу необходимо сделать обоснованные заключения, например, о предпочтениях соответствующей подгруппы в совокупности всех потребителей растворимого кофе. Учитывая деление опрашиваемых на продавцов и покупателей, на мужчин и женщин, на четыре градации по возрасту и восемь - по роду занятий, наличие 5 - 6 подсказок во многих вопросах, приходим к выводу о том, что в рассматриваемом проекте объем выборки должен быть не менее 400 - 500. Вместе с тем существенное превышение этого объема было признано нецелесообразным, поскольку исследование являлось пилотным.
	Поэтому в проекте «Потребители растворимого кофе» объем выборки был выбран равным 500. Анализ полученных результатов позволяет утверждать, что в соответствии с целями исследования выборку следует считать репрезентативной. 

1.4. Два прикладных выборочных исследования

	Продолжим обсуждение выборочного исследования потребителей растворимого кофе.
	Организация опроса. Интервьюерами работали молодые люди – студенты первого курса экономико-математического факультета Московского государственного института электроники и математики (технического университета) и лицея №1140, проходившие обучение по экономике, всего 40 человек, имеющих специальную подготовку по изучению рынка и проведению маркетинговых опросов потребителей и продавцов (в объеме 8 часов). Опрос продавцов проводился на рынках г. Москвы, действующих в Лужниках, у Киевского вокзала и в других местах. Опрос покупателей проводился на рынках, в магазинах, на улицах около киосков и ларьков, а также в домашней и служебной обстановке.
	Большое внимание уделялось качеству заполнения анкет. Интервьюеры были разбиты на шесть бригад, бригадиры персонально отвечали за качество заполнения анкет. Второй уровень контроля осуществляла специально созданная «группа организации опроса», третий происходил при вводе информации в базу данных. Каждая анкета заверена подписями интервьюера и бригадира, на ней указано место и время интервьюирования. Поэтому необходимо признать высокую достоверность собранных анкет.
	Обработка данных. В соответствии с целью исследования основной метод первичной обработки данных - построение частотных таблиц для ответов на отдельные вопросы. Кроме того, проводилось сравнение различных групп потребителей и продавцов, выделенных по социально-демографическим данным, с помощью критериев проверки однородности выборок (см. ниже). При более углубленном анализе применялись различные методы статистики объектов нечисловой природы (более 90% маркетинговых и социологических данных имеют нечисловую природу [4]). Использовались средства графического представления данных.
	Итоги опроса. Итак, по заданию одной из торговых фирм были изучены предпочтения покупателей и мелкооптовых продавцов растворимого кофе. Совместно с представителями заказчика был составлен опросный лист (анкета типа социологической) из 16 основных вопросов и 4 дополнительных, посвященных социально-демографической информации. Опрос проводился в форме интервью с 500 покупателями и продавцами кофе. Места опроса - рынки, лотки, киоски, продуктовые и специализированные магазины, т.е. охвачены все виды мест продаж кофе. Интервью проводили более 40 специально подготовленных (примерно по 8-часовой программе) студентов, разбитых на 7 бригад. После тщательной проверки бригадирами и группой обработки информация была введена в специально созданную базу данных. Затем проводилась разнообразная статистическая обработка, строились таблицы и диаграммы, проверялись статистические гипотезы и т.д. Заключительный этап - осмысление и интерпретация данных, подготовка итогового отчета и предложений для заказчиков. 
	Технология организации и проведения маркетинговых опросов лишь незначительно отличается от технологии социологических опросов, многократно описанной в литературе. Так, мы предпочли использовать полуоткрытые вопросы, в которых для опрашиваемого дан перечень подсказок, а при желании он может высказать свое мнение в свободной форме. Не уложившихся в подсказки оказалось около 5% , их мнения были внесены в базу данных и анализировались дополнительно. Для повышения надежности опроса о наиболее важных с точки зрения маркетинга моментах спрашивалось в нескольких вопросах. Были вопросы - ловушки, с помощью которых контролировалась «осмысленность» заполнения анкеты. Например, в вопросе: «Что Вы цените в кофе: вкус, аромат, крепость, наличие пенки...» ловушкой является включение «крепости» - ясно, что крепость зависит не от растворимого кофе самого по себе, а от его количества в чашке. В ловушку никто из 500 не попался - никто не отметил «крепость». Этот факт свидетельствует о надежности выводов проведенного опроса. Мы считали нецелесообразным задавать вопрос об уровне доходов (поскольку в большинстве случаев отвечают «средний», что невозможно связать с определенной величиной). Вместо такого вопроса мы спрашивали: «Как часто Вы покупаете кофе: по мере надобности или по возможности?». Поскольку кофе не является дефицитным товаром, первый ответ свидетельствовал о наличии достаточных денежных средств, второй - об их ограниченности (потребитель не всегда имел возможность позволить себе купить банку растворимого кофе). 
	Стоимость подобных исследований - 5-10 долл. на одного обследованного. При этом трудоемкость (и стоимость) начальной стадии - подготовки анкеты и интервьюеров, пробный опрос и др. - 30% от стоимости исследования. Стоимость непосредственно опроса - тоже 30%, ввод информации в компьютер и проведение расчетов, построение таблиц и графиков - 20%, интерпретация результатов, подготовка итогового отчета и предложений для заказчиков - 20%. Таким образом, стоимость собственно опроса в два с лишним раза меньше стоимости остальных стадий исследования. И в выполнении работы участвуют различные специалисты. На первой стадии – в основном нужны высококвалифицированные аналитики. На второй – многочисленные интервьюеры, в роли которых могут выступать студенты и школьники, прошедшие конкретный курс обучения в 8 - 10 часов. На третьей – работа с компьютером (надо уметь строить и обсчитывать электронные таблицы или базы данных, использовать статистические пакеты, составлять и печатать таблицы и диаграммы и т.п.). На четвертой – опять в основном нужны высококвалифицированные аналитики.   
	Приведем некоторые из полученных результатов. 
	а) В отличие от западных потребителей, отечественные не отдавали предпочтения стеклянным банкам по сравнению с жестяными. Поскольку жестяные банки дешевле стеклянных, то можно было порекомендовать (в 1994 г., когда проходил опрос) с целью снижения расходов закупку кофе в жестяных банках. 
	б) Отечественные потребители готовы платить на 10-20% больше за экологически безопасный кофе более высокого качества, имеющий сертификат Минздрава и символ экологической безопасности на упаковке.
	в) Средний объем потребления растворимого кофе одной семьей - 850 г в месяц.
	г) Потребители растворимого кофе могут быть разделены на классы (в другой терминологии – кластеры, типы). Есть «продвинутые» потребители, обращающие большое внимание на качество и экологическую безопасность, марку и страну производства, терпимо относящиеся к изменению цены. Эти «тонкие ценители» - в основном женщины от 30 до 50 лет, служащие, менеджеры, научные работники, преподаватели, врачи (т.е. лица с высшим образованием), пьющие кофе как дома, так и на работе, причем «кофейный ритуал» зачастую входит в процедуру деловых переговоров или совещаний. Противоположный по потребительскому поведению класс состоит из мужчин двух крайних возрастных групп - школьников и пенсионеров. Для них важна только цена, что очевидным образом объясняется недостатком денег.
	Результаты использованы заказчиком в рекламной кампании. В частности, обращалось внимание на сертификат Минздрава и на экологическую безопасность упаковки.  
	Оценивание функции спроса и моделирование рынка. Выпускник программы «Топ-менеджер» Академии народного хозяйства при Правительстве Российской Федерации А.А. Пивень в 2003 г. оценил функцию спроса на продукцию своего предприятия. Расчет и установление оптимальной цены на изделие с точки зрения максимизации прибыли был произведен по описанному выше методу. В табл.1.6 приведена функция ожидаемого спроса в зависимости от цены. Как подсчитал А.А. Пивень, уровень издержек на производство 1 изделия составляет 42824,7 руб. (1350 у.е.). Для удобства все расчеты будем производить в условных единицах.
 
 Таблица 1.6
Функция ожидаемого спроса в зависимости от цены
№ п/п	Цена, у.е.	Объем продаж в год, шт.	Издержки на объ-ем производства	Выручка, у.е.	Прибыль, у.е.	
1	1 400	1 600	2 160 000	2 240 000	80 000	
2	1 500	1 500	2 025 000	2 250 000	225 000	
3	1 600	1 200	1 620 000	1 920 000	300 000	
4	1 700	1 000	1 350 000	1 700 000	350 000	
5	1 800	720	972 000	1 246 000	324 000	
6	1 900	500	675 000	950 000	275 000	
7	2 000	320	432 000	640 000	208 000	
8	2 100	170	229 500	357 000	127 500	
9	2 200	110	148 500	242 000	93 500	

	Как видно из приведенных расчетов, оптимальная цена на подъемник должна находиться в диапазоне 1600 – 1700 у.е.
 	На основе многомерной регрессионной зависимости методом наименьших квадратов (см. ниже главу 6) построена математическая модель рынка. Она довольно точно отражает реальное положение дел. При исходной цене 1650 у.е. продажи ориентировочно должны составить 1010 шт. На рис.1.1 приведена кривая спроса.
	Эти расчеты были сделаны при допущении, что издержки не меняются в течение длительного промежутка времени. Однако, в реальных условиях постоянный рост стоимости энергоресурсов и непрекращающаяся инфляция издержек (рост затрат на сырье, материалы, комплектующие изделия, рабочую силу) приводит к увеличению издержек. Поэтому А.А. Пивень проанализировал оптимальный объем выпуска при их различных значениях. Данные его расчетов приведены в табл.1.7. Поскольку инфляция в нашей стране заметно искажает стоимостные характеристики, используем для их описания условные единицы (у.е.). 

Рис.1.1. Кривая спроса на изделие

Таблица 1.7
Прибыль в зависимости от цены и издержек
№ п/п
	Цена, у.е.	Объем 
продаж, шт.	Прибыль (тыс. у.е.) при издержках на единицу продукции, у.е.	
			1350	1400	1450	1500	1550	1600	1650	1700	
1	1 400	1600	80	0	-	-	-	-	-	-	
2	1 500	1500	225	150	75	0	-	-	-	-	
3	1 600	1200	300	240	180	120	60	0	-	-	
4	1 700	1000	350	300	250	200	150	100	50	0	
5	1 800	720	324	288	252	216	180	144	108	72	
6	1 900	500	275	250	225	200	175	150	125	100	
7	2 000	320	208	192	176	160	144	128	112	96	
8	2 100	170	127,5	119	110,5	102	93,5	85	76,5	68	
9	2 200	110	93,5	88	82,5	77	71,5	66	60,5	55	

	Для удобства рассмотренные результаты оптимальных объемов производства при соответствующих ценах приведены в табл. 1.8.

Таблица 1.8
Оптимальные выпуск и цена в зависимости от издержек
Издержки	1350	1400	1450	1500	1550	1600	1650	1700	
Оптимальный выпуск	1000	1000	720	720	720	500	500	500	
Цена	1700	1700	1800	1800	1800	1900	1900	1900	

	Как видно из табл. 1.8, увеличение издержек ведет к снижению оптимального выпуска при росте цены. Хотя изменение издержек на 50 у.е. может не сразу привести к изменению цены. Необоснованная цена может «переключить» большую группу потребителей на другое, аналогичное изделие, имеющее сходный по уровню набор технических характеристик, но более низкую рыночную цену.  
	По данным функции спроса (табл. 1.7) проведем расчет эластичности спроса по цене. Под ценовой эластичностью спроса понимается степень реагирования рыночного спроса на изменение цен. В классическом понимании эластичность спроса по цене показывает,  насколько изменится объем спроса при изменении цены на 1%. Спрос квалифицируется как эластичный, если понижение цены вызывает такой рост оборота, при котором увеличение объема продаж с лихвой компенсирует более низкие цены. Если же понижение цены, приводя к некоторому увеличению объема продаж, тем не менее, не ведет к увеличению оборота или даже уменьшает его, то такой спрос называется неэластичным. Коэффициент ценовой эластичности спроса определяется по формуле:

где Q1, Q2 – значения объема продаж; P1, P2 – значения цены изделия. 
	В рассматриваемом случае KЦЭС  будет различен на протяжении всей функции спроса (рис. 1.1). Однако, произведем расчет на той части кривой (в том диапазоне), где присутствует расчетная цена подъемника, а именно: Q1 = 1200 шт.; Q2 = 720 шт.; P1 = 1600 у.е.; P2 = 1800у.е. В этом случае 

	Коэффициент KЦЭС имеет отрицательный знак и абсолютную величину, значительно превышающую 1. Это говорит о сильной обратной зависимости объемов продаж от цены. Спрос на подъемник эластичен. Валовая выручка увеличивается при снижении цены и уменьшается при ее повышении. Компании необходимо быть готовой к тому, что покупатели очень чутко реагируют на всякое повышение цены на изделие значительным снижением объемов закупок. Как отмечает А.А. Пивень, снижение эластичности спроса на изделие возможно только при общем росте благосостояния населения страны и в частности, значительного роста доходной части бюджетов промышленных предприятий. 
 
1.5. Проверка однородности двух биномиальных выборок

	Проверка однородности – одна из базовых проблем, решаемых статистическими методами. Она часто обсуждается в литературе, а методы проверки однородности применяются при решении многих практических задач. Например, как сравнить две группы - мужчин и женщин, молодых и пожилых, и т.п.? В маркетинге это важно для сегментации рынка. Если две группы не отличаются по ответам, значит, их можно объединить в один сегмент и проводить по отношению к ним одну и ту же маркетинговую политику, в частности, осуществлять одни и те же рекламные воздействия. Если же две группы различаются, то и относиться к ним надо по-разному. Это - представители двух разных сегментов рынка, требующих разного подхода при борьбе за их завоевание. 
	Обсуждаемая далее постановка задачи в статистических терминах такова. Рассматривается вопрос с двумя возможными ответами, например, «да» и «нет». В первой группе из n1 опрошенных m1 человек сказали «да», а во второй группе из n2 опрошенных m2 сказали «да». В вероятностной модели предполагается, что m1 и m2 - биномиальные случайные величины B(n1, p1) и B(n2, p2) соответственно. Запись B(n, p) означает, что случайная величина m имеет биномиальное распределение с параметрами n - объем выборки и p - вероятность определенного ответа (скажем, ответа «да»). Такая случайная величина может быть представлена в виде суммы m = X1 + X2 +…+Xn , где случайные величины X1, X2,…, Xn независимы, одинаково распределены, принимают два значения 1 и 0, причем Р(Xi = 1) = р, Р(Xi = 0)= 1-р, i=1,2,…,n.
	Однородность двух групп означает, что соответствующие им вероятности равны, неоднородность - что эти вероятности отличаются. В терминах прикладной математической статистики задача ставится так: необходимо проверить гипотезу однородности
H0: p1 = p2
при альтернативной гипотезе о наличии эффекта
H1: p1  p2 
(Иногда представляют интерес односторонние альтернативные гипотезы  и .)
	Оценкой вероятности р1 является частота р1*=m1/n1, а оценкой вероятности р2 является частота р2*=m2/n2 . Даже при совпадении вероятностей р1 и р2 частоты, как правило, различаются. Как говорят, «по чисто случайным причинам». Рассмотрим случайную величину р1* - р2*. Тогда
M(р1* - р2*) = р1 - р2, D(р1* - р2*) = р1 (1 - р1)/n1 + р2(1-р2)/n2.
Из теоремы Муавра-Лапласа и теоремы о наследовании сходимости (см. главу 14 настоящего учебника]) следует, что 

где - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Для практического применения этого соотношения следует заменить неизвестную статистику дисперсию разности частот на оценку этой дисперсии:
D*(р1* - р2*) = р*1 (1 - р*1)/n1 + р*2 (1-р*2)/n2.
(Могут использоваться и другие оценки рассматриваемой дисперсии, например, при справедливости нулевой гипотезы - по объединенной выборке.) С помощью указанной выше математической техники можно показать, что при такой замене предельное распределение не меняется:
 
При справедливости гипотезы однородности (т.е. при отсутствии эффекта) M(р1* - р2*) = 0. Поэтому правило принятия решения при проверке однородности двух выборок выглядит так:
	1. Вычислить статистику

	2. Сравнить значение модуля статистика |Q| с граничным значением K. Если |Q|<K, то принять гипотезу однородности H0 . Если же |Q|>K, то заявить об отсутствии однородности и принять альтернативную гипотезу H1. 
	Граничное значение К определяется выбором уровня значимости статистического критерия проверки однородности. Из приведенных выше предельных соотношений следует, что при справедливости гипотезы однородности H0 для уровня значимости имеем (при 

Следовательно, граничное значение в зависимости от уровня значимости целесообразно выбирать из условия

Здесь - функция, обратная к функции стандартного нормального распределения. В социально-экономических исследованиях наиболее распространен 5% уровень значимости, т.е.  Для него К = 1,96.
	Пример 2. Пусть в первой группе из 500 опрошенных мужчин ответили «да» 200, а во второй группе из 700 опрошенных женщин сказали «да» 350. Есть ли разница по доле отвечающих «да» между генеральными совокупностями, представленными этими двумя группами?
	Для установления взаимопонимания с маркетологом уберем из формулировки примера относящийся к теории статистики термин «генеральная совокупность». Получим следующую постановку.
	Пусть из 500 опрошенных мужчин ответили «да, я люблю пепси-колу» 200, а из 700 опрошенных женщин 350 сказали «да, я люблю пепси-колу». Есть ли разница между мужчинами и женщинами по доле отвечающих «да» на вопрос о любви к пепси-коле?
	В рассматриваемом примере нужные для расчетов величины таковы:  Вычислим статистику 

Поскольку |Q| = 3,45 > 1,96, то необходимо отклонить нулевую гипотезу и принять альтернативную. Таким образом, мужчины и женщины отличаются по рассматриваемому признаку - любви к пепси-коле. 
	Результат проверки гипотезы однородности зависит не только от частот, но и от объемов выборок. Предположим, что частоты (доли) зафиксированы, а объемы выборок растут. Тогда числитель статистики Q не меняется, а знаменатель уменьшается, значит, вся дробь возрастает. Поскольку знаменатель стремится к 0, то дробь возрастает до бесконечности и рано или поздно превзойдет любую границу. Есть только одно исключение - когда в числителе стоит 0. Следовательно, при строгом подходе к формулировкам вывод статистика должен выглядеть так: «различие обнаружено» или «различие не обнаружено». Во втором случае различие, возможно, было бы обнаружено при увеличении объемов выборок.
	Как и для доверительного оценивания вероятности, во ВЦИОМ разработаны две полезные таблицы, позволяющие оценить вызванные чисто случайными причинами допустимые расхождения между частотами в группах. Эти таблицы рассчитаны при выполнении нулевой гипотезы однородности и соответствуют ситуациям, когда частоты близки к 50% (табл. 1.9) или к 20% (табл. 1.10). Если наблюдаемые частоты - от 30 до 70%, то рекомендуется пользоваться первой из этих таблиц, если от 10 до 30% или от 70 до 90% - то второй. Если наблюдаемые частоты меньше 10% или больше 90%, то теорема Муавра-Лапласа и основанные на ней асимптотические формулы дают не очень хорошие приближения, целесообразно применять иные, более продвинутые математические средства, в частности, приближения с помощью распределения Пуассона.
	В условиях разобранного выше примера табл. 1.9 дает допустимое расхождение 7%. Действительно, объем первой группы 500 отсутствует в таблице, но строки, соответствующие объемам 400 и 600, совпадают для первых двух столбцов слева. Эти столбцы соответствуют объемам второй группы 750 и 600, между которыми расположен объем 700, данный в примере. Он ближе к 750, поэтому берем величину расхождения, стоящую на пересечении первого столбца и второй (и третьей) строк, т.е. 7%. Поскольку реальное расхождение (10%) больше, чем 7%, то делаем вывод о наличии значимого различия между группами. Естественно, этот вывод совпадает с полученным ранее расчетным путем. 

Таблица 1.9
Допустимые расхождения (в %) между частотами
в двух группах, когда наблюдаются частоты от 30 до 70%
Объемы групп	750	600	400	200	100	
750	6	7	7	10	12	
600	7	8	8	11	13	
400	7	8	10	11	14	
200	10	11	11	13	16	
100	12	13	14	16	18	

Таблица 1.10
Допустимые расхождения (в %) между частотами в двух группах, когда наблюдаются частоты от 10 до 30% или от 70 до 90%
Объемы групп	750	600	400	200	100	
750	5	5	6	8	10	
600	5	6	7	8	10	
400	6	7	8	9	11	
200	8	8	9	10	12	
100	10	10	11	12	14	

	Как и в случае табл. 1.5, значения в табл. 1.9 и 1.10 несколько больше, чем рассчитанные по приведенным выше формулам. Дело в том, что таблицы ВЦИОМ связаны не с уровнем значимости  а с уровнем значимости  которому соответствует граничное значение 2,58. 
	Допустимое расхождение между частотами нетрудно получить расчетным путем. Для этого достаточно воспользоваться формулой для статистики Q и определить, при каком максимальном расхождении частот все еще делается вывод о том, что верна гипотеза однородности. Следовательно, допустимое расхождение  находится из уравнения

Таким образом,

Для данных примера 2 = 1,96  0,029 = 0,057, или 5,7%, для уровня значимости 0,05. 
	Для других уровней значимости надо использовать другие коэффициенты  Так, K(0,01) = 2,58 для уровня значимости 1% и K(0,10) = 1,64 для уровня значимости 10%. Для данных примера = 2,58  0,029 = 0,7482  0,075, или 7,5%, для уровня значимости 0,01. Если округлить до ближайшего целого числа процентов, то получим 7%, как при использовании таблицы 9 выше. 
	Анализ табл. 1.9 и 1.10 показывает, что для обнаружения эффекта (констатации различия генеральных совокупностей) частоты должны отличаться не менее чем на 6%. А при некоторых объемах выборок - более чем на 10%, например, при объемах выборок 100 и 100 - на 19%. Если же частоты отличаются на 5% или менее, можно сразу сказать, что статистический анализ приведет к выводу о том, что различие не обнаружено (для выборок объемов не более 750).
	В связи со сказанным возникает вопрос: каково типовое отличие частот в двух выборках из одной и той же совокупности? 	Разность частот в этом случае имеет нулевое математическое ожидание и дисперсию

Величина р(1 - р) достигает максимума при р = 1/2, и этот максимум равен 1/4. Если р = 1/2, а объемы двух выборок совпадают и равны 500, то дисперсия разности частот равна 

Следовательно, среднее квадратическое отклонение равно 0,032 или 3,2%. Поскольку для стандартной нормальной случайной величины в 50% случаев ее значение не превосходит по модулю 0,67 (а в 50% случаев - больше 0,67), то типовой разброс равен 0,67, а в рассматриваемом случае - 2,1%. 
	Приведенные соображения дают возможность построить метод контроля правильности (корректности) проведения повторных опросов. Если частоты излишне устойчивы, значения при повторных опросах слишком близки - это подозрительно! Возможно, нарушены правила проведения опросов, выборки не являются случайными, ответы фальсифицированы, и т.д.

Литература

1. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
2. Сэндидж Ч., Фрайбургер В., Ротцолл К. Реклама: теория и практика: Пер. с англ. - М.: Прогресс, 1989. - 630 с.
3. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1983. - 416 с.
4. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.

Контрольные вопросы и задачи

1. Почему выборочные исследования необходимы для решения многих практических задач?
2. Из партии продукции объема N = 100 изделий, содержащей D = 10 дефектных изделий, извлекают выборку объема n = 5. Для биномиальной и гипергеометрической моделей выборки рассчитайте распределения числа дефектных изделий в выборке, постройте и сравните функции распределения.
3. Какова роль теоремы Муавра-Лапласа в теории выборочных исследований?
	В задачах 4 - 8 выберите наиболее подходящий вариант ответа.
4. При какой цене максимальна прибыль в условиях пункта 1.1, если издержки (оптовая цена товара) равны 12? 
		А) 30; 		Б) 32; 		В) 35.
5. При исследовании предпочтений потребителей открытые вопросы: 
	А) труднее для опрашиваемых, но легче для обработки; 
	Б) легче для опрашиваемых, но труднее для обработки.
6. Пусть из 657 опрошенных 289 сказали «да». Доверительный интервал для доли отвечающих «да» в генеральной совокупности, соответствующий доверительной вероятности 0,95, таков:
	А) [0,245; 0,398];   Б) [0,435; 0,445];   В) [0,405; 0,556];   
	Г) [0,402; 0,478];   Д) [0,247; 0,633] .
7. Из 513 юношей 193 любят «Сникерс», а из 748 девушек – 327. Значение статистического критерия Q для проверки гипотезы о равенстве вероятностей равно: 
	А) 3,38; 	Б) -2,176; 	В) 0,25; 	Г) 12,56; 	Д) -0,173.
8. В условиях задачи 7 гипотеза об одинаковой привлекательности «Сникерса» для юношей и девушек (на уровне значимости 0,05):
 	А) принимается;  	Б) отклоняется.
9. Как понятие допустимого расхождения между частотами можно использовать при планировании выборочных исследований?
10. Рассчитайте коэффициент ценовой эластичности спроса по данным табл.1.1 при цене р = 35 и при цене р = 40.

Темы докладов, рефератов, исследовательских работ

1. Проведите выборочное исследование с целью построения оценки функции ожидаемого спроса на выбранный Вами товар (услугу).
2. Найдите адекватное приближение функции спроса в табл.1.1 с помощью метода наименьших квадратов.
3. Постройте экономико-математическую модель оптимизации цены при заданных функциях спроса (в зависимости о цены) и издержек (в зависимости от выпуска).
4. Сопоставьте теорию квотной выборки с теорией простой случайной выборки.
5. Рассмотрите статистическую теорию доверительного оценивания и проверки гипотез о равенстве вероятностей в случае нескольких возможных ответов (соответственно, с использованием мультиномиального распределения вместо биномиального).
6. В каких случаях может быть использована теория малых выборок (теорема Пуассона) для доверительного оценивания вероятности определенного ответа?

Глава 2. Описание данных 

	Выделяют три основные области статистических методов обработки результатов наблюдений – описание данных, оценивание (характеристик и параметров распределений, регрессионных зависимостей и др.) и проверка статистических гипотез.  
	Описание данных – предварительный этап статистической обработки. Используемые при описании данных величины применяются при дальнейших этапах статистического анализа – оценивании и проверке гипотез, а также при решении иных задач, возникающих при применении вероятностно-статистических методов принятия решений, например, при статистическом контроле качества продукции и статистическом регулировании технологических процессов. 

2.1. Модели порождения данных

	Статистические данные – это результаты наблюдений (измерений, испытаний, опытов, анализов). Функции результатов наблюдений, используемые, в частности, для оценки параметров распределений и (или) для проверки статистических гипотез, называют «статистиками». (Для математиков добавим, что речь идет об измеримых функциях.) Если в вероятностной модели результаты наблюдений рассматриваются как случайные величины (или случайные элементы), то статистики, как функции случайных величин (элементов), сами являются случайными величинами (элементами). Статистики, являющиеся выборочными аналогами характеристик случайных величин (математического ожидания, медианы, дисперсии, моментов и др.) и используемые для оценивания этих характеристик, называют статистическими характеристиками.
	Виды выборок. Основополагающее понятие в вероятностно-статистических методах принятия решений – выборка – это 
1) набор наблюдаемых значений или 
2) множество объектов, отобранных из изучаемой совокупности. 
Например, единицы продукции, отобранные из контролируемой партии или потока продукции для контроля и принятия решений. Наблюдаемые значения обозначим x1, x2,…, xn, где n – объем выборки, т.е. число наблюдаемых значений, составляющих выборку. О втором виде выборок уже шла речь в главе 1 при рассмотрении гипергеометрического распределения, когда под выборкой понимался набор единиц продукции, отобранных из партии. Там же обсуждалась вероятностная модель случайной выборки.
	В вероятностной модели выборки первого типа наблюдаемые значения обычно рассматривают как реализацию независимых одинаково распределенных случайных величин . Считают, что полученные при наблюдениях конкретные значения x1, x2,…, xn соответствуют определенному элементарному событию , т.е.
.
	При повторных наблюдениях будут получены иные наблюдаемые значения, соответствующие другому элементарному событию . Цель обработки статистических данных – по результатам наблюдений, соответствующим элементарному событию , сделать выводы о вероятностной мере Р и результатах наблюдений при различных возможных .
	Для выборок второго вида отбор объектов может проводиться в несколько этапов. Например, для входного контроля сигарет могут сначала отбираться коробки, в отобранных коробках – блоки, в выбранных блоках – пачки, а в пачках – сигареты. Четыре ступени отбора. Выборка будет обладать иными свойствами, чем простая случайная выборка из совокупности сигарет.
	Частоты. Из приведенного выше определения математической статистики следует: описание статистических данных дается с помощью частот. Частота – это отношение числа Х наблюдаемых единиц, которые принимают заданное значение или лежат в заданном интервале, к общему числу наблюдений n, т.е. частота – это Х/n. (В более старой литературе иногда Х/n называется относительной частотой, а под частотой имеется в виду Х. В старой терминологии можно сказать, что относительная частота – это отношение частоты к общему числу наблюдений.) 
	Число Х имеет биномиальное распределение, задаваемое вероятностью р того, что случайная величина, с помощью которой моделируются результаты наблюдений, принимает заданное значение или лежит в заданном интервале, и общим числом наблюдений n. Из закона больших чисел (теорема Бернулли) следует, что 

при n→∞ (сходимость по вероятности), т.е. частота сходится к вероятности. Теорема Муавра-Лапласа позволяет уточнить скорость сходимости в этом предельном соотношении (см. главу 1).
	Детерминированный и модельно-вероятностный подходы. В статистических методах есть два подхода к исходным данным – детерминированный и модельно-вероятностный. В первом из них данные рассматриваются сами по себе, без попыток связать их с какой-либо более общей ситуацией. Например, при анализе данных о производственной деятельности конкретного предприятия за конкретный период времени подсчитывается процент брака по конкретным технологическим процессам, число работников на различных должностях, объем реализованной продукции по месяцам. К этой же категории данных относятся различные виды отчетности – бухгалтерская, налоговая, статистическая (для органов Росстата). Преимущество детерминированного подхода - отсутствие каких-либо дополнительных предположений о данных. Недостаток состоит в невозможности обоснованного переноса выводов с конкретной ситуации на другие, ей аналогичные. Например, на другие периоды времени или на другие предприятия. При детерминированном подходе невозможно также оценить погрешность рассчитанных характеристик. 
	Чтобы выйти за пределы конкретной ситуации, необходимо использовать модельно-вероятностный подход, согласно которому основой алгоритмов расчетов является вероятностная модель порождения данных. Конкретные данные рассматриваются как реализации случайных величин, векторов, более общо – элементов, т.е как значения задающих их функций, определенных на вероятностном пространстве, в конкретной точке (элементарном событии ω).
	Наиболее распространенная вероятностная модель порождения данных – это модель случайной выборки. Согласно этой модели данные x1, x2, … , xn рассматриваются как реализация независимых одинаково распределенных случайных элементов (величин, векторов, множеств и других объектов нечисловой природы) X1 = X1(ω), X2 = X2(ω), … , Xn = Xn(ω), т.е. x1= X1(ω0), x2 = X2(ω0), … , xn = Xn(ω0) при некотором ω0 из пространства элементарных событий Ω. Модель выборки обычно используется для описания результатов независимых наблюдений, измерений, анализов. опытов.
	В некоторых случаях используют более специальные модели порождения данных. Например, при проведении испытаний на надежность используют план испытаний, согласно которому испытания прекращаются через время Т. Это значит, что фиксируются только моменты отказа изделий, которые произошли до момента Т. Пусть x1, x2, … , xn – наработки на отказ n изделий. Статистику доступны только значения y1, y2, … , yn, где yj = xj при xj < T и yj = T при xj > T. Такая выборка, в которой часть описывающих реальное явление случайных величин заменена граничным значением, называется цензурированной. Иногда используются и более сложные модели порождения данных. Например, если аппаратурой не фиксируются значения, меньшие некоторого порога, то выборка не только цензурирована, но и состоит из случайного числа элементов. Бывают и процедуры, когда минимальный и максимальный элементы выборки отбрасываются, а остальные предоставляются статистику, и т.д.
	Параметрические и непараметрические модели случайной выборки. Рассмотрим ситуацию, когда элементы выборки – числа. Модель описывается функцией распределения элементов выборки. Можно ли что-либо сказать об этой функции?
	В учебных курсах по теории вероятностей и математической статистике часто рассматривают различные параметрические семейства распределений числовых случайных величин. А именно, изучают семейства нормальных распределений, логарифмически нормальных, экспоненциальных, гамма-распределений, распределений Вейбулла-Гнеденко и др. Все они зависят от одного, двух или трех параметров. Поэтому для полного описания распределения достаточно знать (или оценить по выборке) одно, два или три числа. Очень удобно. Поэтому широко развита и представлена в литературе параметрическая теория математической статистики, в которой предполагается, что распределения результатов наблюдений принадлежат тем или иным параметрическим семействам.
	К сожалению, параметрические семейства существуют лишь в головах авторов учебников по теории вероятностей и математической статистике. В реальной жизни их нет. Поэтому прикладная статистика использует в основном непараметрические методы, в которых распределения результатов наблюдений могут иметь произвольный вид. 
	В настоящем разделе на примере нормального распределения подробно обоснуем невозможность практического использования параметрических семейств для описания распределений конкретных данных. В главе 4.2 разобраны параметрические методы отбраковки резко выделяющихся наблюдений и продемонстрирована невозможность практического использования ряда методов параметрической статистики, ошибочность выводов, к которым они приводят. В главе 5.1 рассмотрены непараметрические методы доверительного оценивания основных характеристик числовых случайных величин - математического ожидания, медианы, дисперсии, среднего квадратического отклонения, коэффициента вариации. 
	К настоящему времени непараметрические методы полностью покрывают область задач, которые ранее решались с помощью параметрической статистики. Поэтому можно порекомендовать использовать только непараметрическую статистику. Однако в литературе много внимания уделяется параметрическим методам, поэтому игнорировать в настоящем учебнике параметрическую статистику признано нецелесообразным.
	Часто ли распределение результатов наблюдений является нормальным? Статистические модели применяют при изучении и оптимизации процессов маркетинга, управления предприятием и регионом, точности и стабильности технологических процессов. Их используют в задачах надежности, обеспечения безопасности, в том числе экологической, для описания функционирования технических устройств и объектов, при разработке организационных схем и т.д. При этом зачастую используют те или иные параметрические семейства распределений вероятностей. Наиболее популярно нормальное распределение. Используют также логарифмически нормальное распределение, экспоненциальное распределение, гамма-распределение, распределение Вейбулла-Гнеденко и т.д. 
	Очевидно, всегда необходимо проверять соответствие моделей реальности. Возникают два вопроса. Отличаются ли реальные распределения от используемых в модели? Насколько это отличие влияет на выводы? 
	На примере нормального распределения покажем, что реальные распределения практически всегда отличаются от включенных в классические параметрические семейства. Имеющиеся отклонения от заданных семейств делают неверными выводы, основанные на использовании этих семейств. Например, выводы об отбраковке резко отличающихся наблюдений (выбросов). 
	Есть ли основания априори предполагать нормальность результатов измерений? 
	Иногда утверждают, что в случае, когда погрешность измерения (или иная случайная величина) определяется в результате совокупного действия многих малых факторов, то в силу Центральной предельной теоремы (ЦПТ) теории вероятностей (см. главу 14 настоящего учебника) эта величина хорошо приближается (по распределению) нормальной случайной величиной. Такое утверждение справедливо, если малые факторы действуют аддитивно и независимо друг от друга. Если же они действуют мультипликативно, то в силу той же ЦПТ аппроксимировать надо логарифмически нормальным распределением. В прикладных задачах обосновать аддитивность, а не мультипликативность действия малых факторов обычно не удается. Если же зависимость имеет общий характер, не приводится к аддитивному или мультипликативному виду, а также нет оснований принимать модели, дающие экспоненциальное, Вейбулла-Гнеденко, гамма или иные распределения, то о распределении итоговой случайной величины практически ничего не известно, кроме внутриматематических свойств типа регулярности.
	Экспериментальное изучение распределений погрешностей. При обработке конкретных данных иногда считают, что погрешности измерений имеют нормальное распределение. На предположении нормальности построены классические модели регрессионного, дисперсионного, факторного анализов, метрологические модели, которые еще продолжают встречаться как в отечественной ноpмативно-технической документации, так и в международных стандартах. На то же предположение опираются модели расчетов максимально достигаемых уровней тех или иных характеристик, применяемые при проектировании систем обеспечения безопасности функционирования экономических структур, технических устройств и объектов. Однако теоретических оснований для такого предположения нет. Необходимо экспериментально изучать распределения погрешностей.
	Что же показывают результаты экспериментов? Сводка в монографии [1] позволяет утверждать, что в большинстве случаев распределение погрешностей измерений отличается от нормального. Так, в Машинно-электротехническом институте (г. Варна, Болгария) исследовано распределение погрешностей градуировки шкал аналоговых электроизмерительных приборов. Изучались приборы, изготовленные в Чехословакии, СССР и Болгарии. Закон распределения погрешностей оказался одним и тем же. Он имеет плотность

	Проанализированы данные о параметрах 219 фактических распределений погрешностей, исследованных разными авторами, при измерении как электрических, так и иных физических величин самыми разнообразными (электрическими) приборами. В результате оказалось, что 111 распределений, т.е. примерно 50% , принадлежат классу распределений с плотностью

где  - параметр степени (формы); 
b - параметр сдвига; 
 - параметр масштаба; 
 - гамма-функция от аргумента ;

(см. [1, с. 56]); 63 распределения, т.е. 30%, имеют плотности с плоской вершиной и пологими длинными спадами и не могут быть описаны как нормальные или, например, экспоненциальные. Оставшиеся 45 распределений оказались двухмодальными.
	В монографии [1] приведены результаты исследования законов распределения для различного рода погрешностей измерения - электромеханических приборов на кернах, электронных приборов для измерения температур и усилий, цифровых приборов с ручным уравновешиванием. Объем выборок экспериментальных данных для каждого экземпляра составлял 100-400 отсчетов. Оказалось, что 46 из 47 распределений значимо отличались от нормального. Исследована форма распределения погрешностей у 25 экземпляров цифровых вольтметров Щ-1411 в 10 точках диапазона. Результаты аналогичны. 
	В лаборатории прикладной математики Тартуского государственного университета проанализировано более 2500 выборок из архива реальных статистических данных. В 92% гипотезу нормальности пришлось отвергнуть.
	Приведенные описания экспериментальных данных показывают, что погрешности измерений в большинстве случаев имеют распределения, отличные от нормальных. Это означает: большинство применений критерия Стьюдента, классического регрессионного анализа и других статистических методов, основанных на нормальной теории, строго говоря, не является обоснованным. Поскольку неверна лежащая в их основе аксиома нормальности распределений соответствующих случайных  величин.
	Очевидно, для оправдания или обоснованного изменения существующей практики анализа статистических данных требуется изучить свойства процедур анализа данных при «незаконном» применении. Изучение процедур отбраковки показало, что они крайне неустойчивы к отклонениям от нормальности, а потому применять их для обработки реальных данных нецелесообразно (см. главу 4.2); поэтому нельзя утверждать, что произвольно взятая процедура устойчива к отклонениям от нормальности.
	Иногда предлагают перед применением, например, критерия Стьюдента однородности двух выборок проверять нормальность. Хотя для этого имеется много критериев, но проверка нормальности - более сложная и трудоемкая статистическая процедура, чем проверка однородности (как с помощью статистик типа Стьюдента, так и с помощью непараметрических критериев). Для достаточно надежного установления нормальности требуется весьма большое число наблюдений. Так, чтобы гарантировать, что функция распределения результатов наблюдений отличается от некоторой нормальной не более, чем на 0,01 (при любом значении аргумента), требуется порядка 2500 наблюдений. В большинстве экономических, технических, медико-биологических и других прикладных исследований число наблюдений существенно меньше. Особенно это справедливо для данных, используемых при изучении проблем, связанных с обеспечением безопасности функционирования экономических структур и технических объектов.
	ЦПТ и нормальность. Иногда пытаются использовать ЦПТ для приближения распределения погрешности к нормальному, включая в технологическую схему измерительного прибора специальные сумматоры. Оценим полезность этой меры. Пусть Z1 , Z2 ,…, Zk - независимые одинаково распределенные случайные величины с функцией распределения H = H(x) такие, что 

Рассмотрим

Показателем обеспечиваемой сумматором близости к нормальности является

Тогда

Правое неравенство в последнем соотношении вытекает из оценок константы в неравенстве Берри-Эссеена, полученном в статье [2], а левое - из примера в монографии [3, с.140-141]. Для нормального закона  =1,6, для равномерного  = 1,3, для двухточечного  =1 (это - нижняя граница для ). Следовательно, для обеспечения расстояния (в метрике Колмогорова) до нормального распределения не более 0,01 для «неудачных» распределений необходимо не менее k0 слагаемых, где

В обычно используемых сумматорах слагаемых значительно меньше.
	Сужая класс возможных распределений H, можно получить более быструю сходимость, но теория здесь еще не позволяет сформулировать практических рекомендаций. Кроме того, неясно, обеспечивает ли близость распределения элементов выборки к нормальному (в определенной метрике) также и близость распределений статистик, т.е. функций от элементов выборки. Речь идет о сравнении распределения статистики, построенной по случайным величинам, полученным суммированием, с распределением статистики, соответствующей нормальным результатам наблюдений. Видимо, для каждой конкретной статистики необходимы специальные теоретические исследования, В задачах отбраковки выбросов ответ: «Не обеспечивает» (см. раздел 4.2 ниже).
	Результат любого реального измерения записывается с помощью конечного числа десятичных знаков, обычно небольшого (2-5), так что любые реальные данные целесообразно моделировать лишь с помощью дискретных случайных величин, принимающих сравнительно небольшое число значений. Нормальное распределение - лишь аппроксимация реального распределения. Например, данные конкретного исследования качества подшипников, приведенные в работе [4], принимают значения от 1,0 до 2,2, т.е. всего 13 возможных значений. Из принципа Дирихле следует, что в какой-то точке построенная по данным работы [4] функция распределения отличается от ближайшей функции нормального распределения не менее чем на 1/26, т.е. на 0,04. Кроме того, очевидно, что для нормального распределения случайной величины вероятность попасть в дискретное множество десятичных чисел с заданным числом знаков после запятой равна 0.
	Из сказанного выше следует: результаты измерений и вообще статистические данные имеют свойства, приводящие к тому, что моделировать их можно лишь случайными величинами с распределениями, более или менее отличными от нормальных. В большинстве случаев распределения существенно отличаются от нормальных. В других ситуациях нормальные распределения могут, видимо, рассматриваться как некоторая аппроксимация. Но никогда нет полного совпадения. Отсюда вытекает необходимость изучения свойств классических статистических процедур в неклассических вероятностных моделях (подобно тому, как это сделано в главе 5.2 для критерия Стьюдента). А также целесообразность разработки устойчивых (учитывающих наличие отклонений от нормальности) и непараметрических, в том числе свободных от распределения процедур, их широкого внедрения в практику статистической обработки данных.
	Опущенные здесь рассмотрения для других параметрических семейств приводят к аналогичным выводам. Итог можно сформулировать так. Распределения реальных данных практически никогда не входят в какое-либо конкретное параметрическое семейство. Реальные распределения всегда отличаются от тех, что включены в параметрические семейства. Отличия могут быть большими или малыми, но они всегда есть. 

2.2. Таблицы и диаграммы

	Исходные статистические данные могут быть достаточно обширными. В качестве примера приведем результаты экспертного опроса, проведенного Институтом высоких статистических технологий и эконометрики (табл. 2.1). В первом столбце приведены номера экспертов, в остальных четырех – четыре прогнозных значения, полученных от каждого эксперта. Отметим, что эксперт №28 не ответил на вопрос об инфляции. В таблицах реальных данных приходится сталкиваться с пропусками.
 
Таблица 2.1
Прогнозы экспертов на 8 декабря 1994 г. (сделаны 19.10.1994)
№ п/п	Курс доллара США, руб. 	Инфляция (%) за период прогноза	Цена батона белого хлеба, руб.	Цена 1 л молока, руб.	
(1)	(2)	(3)	(4)	(5)	
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33	4185
4270
3200
4000
3500
3800
3500
3300
4100
3560
4000
5200
4000
6000
4000
3400
3500
4200
3560
4300
4000
4500
4200
3900
5500
5000
5600
3900
4200
3680
4000
4600
4560	4,0
2,8
17,0
16,0
16,0
5,0
3,5
62,0
54,0
10,0
54,0
54,0
9,0
54,0
40,0
13,0
15,0
2,5
200,0
6,0
3,0
12,0
11,0
54,0
62,0
73,0
54,0
-
38,0
38,0
2,0
46,0
92,0	800
1028
760
950
820
1000
500
800
900
870
1000
1500
830
2000
950
750
1000
1000
940
950
1000
950
890
1000
1000
1000
1200
1500
950
850
840
1000
1300	1305
1322
755
1000
800
1000
1500
780
899
1050
1000
1500
1300
2000
1200
900
1250
1500
1200
1570
1100
1100
1100
1000
1400
1200
2000
1400
1100
1100
1100
1100
1400	

	Описание данных - это первичное сжатие информации с целью сделать ее более обозримой, легкой для восприятия. Самый древний способ – это составление различных таблиц, вторичных по отношению к таблицам исходных данных.
	Например, рассмотрим последний столбец табл.2.1. Для лучшего восприятия прогнозов экспертов о цене 1 л молока сгруппируем данные по интервалам, как это сделано в табл. 2.2.

Таблица 2.2
Прогнозируемая цена молока
№ п/п	Интервал, руб.	Число ответов	
1
2
3
4
5
6
7
8
9
10	700 – 799
800 – 899
900 – 999
1000 – 1099
1100 – 1199
1200 – 1299
1300 – 1399
1400 – 1499
1500 – 1599
2000
Всего	2
2
1
5
7
4
3
3
4
2
33	

	Группировка данных в табл. 2.2 по 10 интервалам может показаться слишком дробной. Нетрудно объединить градации и получить, например, табл. 2.3.

Таблица 2.3
Прогнозируемая цена молока (крупные градации)
№ п/п	Интервал, руб.	Число ответов	
1
2
3
4
5	700  – 999
1000 – 1299
1300 – 1599
2000
Всего	5
16
10
2
33	

	Сколько использовать градаций (т.е. строк в таблице)? Общих рекомендаций дать нельзя. Ответ зависит от цели статистического исследования, от структуры конкретных данных.
	Табличный материал может быть выражен в виде различных диаграмм, в том числе круговых и столбчатых. Несколько десятков лет назад были популярны гистограммы – столбчатые диаграммы, для которых интервалы группирования имеют одинаковую длину. 
	В настоящее время гистограммы рассматривают как устаревшие инструменты статистического анализа. Для описания массива данных рекомендуется использовать вариационные ряды, эмпирические функции распределения и – особенно настоятельно – непараметрические оценки плотности. 
 
2.3. Выборочные характеристики распределения

	Для описания данных применяют различные статистические характеристики. В качестве выборочной средней величины чаще всего используют выборочное среднее арифметическое, т.е. сумму значений рассматриваемой величины, полученных по результатам испытания выборки, деленную на ее объем:

где n – объем выборки; xi – результат измерения (испытания) i-ого элемента выборки.
	Другой вид выборочного среднего – выборочная медиана - определяется через порядковые статистики.
	Порядковые статистики – это члены вариационного ряда, который получается, если элементы выборки x1, x2,…, xn расположить в порядке неубывания:
х(1) < x(2) < … < x(k) < …< x(n).
	Пример 1. Для выборки x1 = 1, x2 = 7, x3 = 4, x4 = 2, x5  = 8, x6 = 0, x7 =5, x8 = 7 вариационный ряд имеет вид 0, 1, 2, 4, 5, 7, 7, 8, т.е. х(1) = 0 = x6, х(2) = 1 = x1, х(3) = 2 = x4, х(4) = 4 = x3, х(5) = 5 = x7, х(6) = х(7) = 7 = x2 = x8, х(8) = 8 = x5.
	В вариационном ряду элемент x(k) называется k-той порядковой статистикой. Порядковые статистики и функции от них широко используются в вероятностно-статистических методах принятия решений, в эконометрике и в других прикладных областях.
	Выборочная медиана  - результат наблюдения, занимающий центральное место в вариационном ряду, построенном по выборке с нечетным числом элементов, или полусумма двух результатов наблюдений, занимающих два центральных места в вариационном ряду, построенном по выборке с четным числом элементов. Таким образом, если объем выборки n – нечетное число, n = 2k+1, то медиана  = x(k+1), если же n – четное число, n = 2k, то медиана  = [x(k) + x(k+1)]/2, где x(k) и x(k+1) – порядковые статистики. 
	В качестве выборочных показателей рассеивания результатов наблюдений чаще всего используют выборочную дисперсию, выборочное среднее квадратическое отклонение и размах выборки. 
	Выборочная дисперсия s2 – это сумма квадратов отклонений выборочных результатов наблюдений от их среднего арифметического, деленная на объем выборки:  

Выборочное среднее квадратическое отклонение s – неотрицательный квадратный корень из дисперсии, т.е. 
	В некоторых литературных источниках выборочной дисперсией называют другую величину:

Она отличается от s2 постоянным множителем: 

Соответственно выборочным средним квадратическим отклонением в этих литературных источниках называют величину  Тогда, очевидно,

Различие в определениях приводит к различию в алгоритмах расчетов, правилах принятия решений и соответствующих таблицах. Поэтому при использовании тех или иных нормативно-технических и инструктивно-методических материалов, программных продуктов, таблиц необходимо обращать внимание на способ определения выборочных характеристик.
Выбор , а не s2, объясняется тем, что 

где Х – случайная величина, имеющая такое же распределение, как и результаты наблюдений. В терминах теории статистического оценивания это означает, что  - несмещенная оценка дисперсии. В то же время статистика s2 не является несмещенной оценкой дисперсии результатов наблюдений, поскольку

Однако у s2 есть другое свойство, оправдывающее использование этой статистики в качестве выборочного показателя рассеивания. 
	Для известных результатов наблюдений x1, x2,…, xn рассмотрим случайную величину Y с распределением вероятностей 

и Р(Y = х) = 0 для всех прочих х. Это распределение вероятностей называется эмпирическим. Тогда функция распределения Y – это эмпирическая функция распределения, построенная по результатам наблюдений x1, x2,…, xn. Вычислим математическое ожидание и дисперсию случайной величины Y:

Второе из этих равенств и является основанием для использования s2 в качестве выборочного показателя рассеивания.
	Математические ожидания выборочных средних квадратических отклонений М(s) и М(s0), вообще говоря, не равняются теоретическому среднему квадратическому отклонению σ. Например, если Х имеет нормальное распределение, объем выборки n = 3, то 

	Кроме перечисленных выше статистических характеристик, в качестве выборочного показателя рассеивания используют размах R – разность между n-й и первой порядковыми статистиками в выборке объема n, т.е. разность между наибольшим и наименьшим значениями в выборке: R = x(n) – x(1). 
В ряде вероятностно-статистических методов применяют и иные показатели рассеивания. В частности, в методах статистического регулирования процессов используют средний размах – среднее арифметическое размахов, полученных в определенном количестве выборок одинакового объема. Популярно и межквартильное расстояние, т.е. расстояние между выборочными квартилями x([0,75n]) и x([0,25n]) порядка 0,75 и 0,25 соответственно, где [0,75n] – целая часть числа 0,75n, а [0,25n] –целая часть числа 0,25n. 
	Подведем итоги. Целесообразно рассчитывать и приводить в документации статистического исследования в разделе «Описание данных» выборочные характеристики:
	- выборочное среднее арифметическое;
	- выборочную дисперсию;
	- выборочное среднее квадратическое отклонение;
	- выборочный коэффициент вариации ;
	- выборочную медиану;
	- минимум (первый член вариационного ряда);
	- максимум (последний член вариационного ряда);
	- размах;
	- моду (наиболее часто встречающееся значение) и амплитуду моды (число элементов выборки, равных моде);
	- верхний квартиль x([0,75n]);
	- нижний квартиль x([0,25n]);
	- межквартильное расстояние.
 
2.4. Эмпирическая функция распределения

	Чтобы от отдельных событий перейти к одновременному рассмотрению многих событий, используют накопленную частоту. Так называется отношение числа единиц, для которых результаты наблюдения меньше заданного значения, к общему числу наблюдений. Функция, которая выражает зависимость между значениями количественного признака и накопленной частотой, называется эмпирической функцией распределения. Итак, эмпирической функцией распределения Fn(x) называется доля элементов выборки, меньших x. Эмпирическая функция распределения содержит всю информацию о результатах наблюдений. Эмпирическая функция распределения - это функция введенного выше эмпирического распределения.
	Чтобы выразить эмпирическую функцию распределения не словами, а формулой, введем функцию с(х, у) двух переменных:

Случайные величины, моделирующие результаты наблюдений, обозначим . Тогда эмпирическая функция распределения Fn(x) имеет вид 

	Из закона больших чисел следует, что для каждого действительного числа х эмпирическая функция распределения Fn(x) сходится к функции распределения F(x) результатов наблюдений, т.е.
Fn(x) → F(x)   		(2.1)
при n → ∞. В.И. Гливенко (1897-1940) доказал в 1933 г. более сильное утверждение: сходимость в (2.1) равномерна по х, т.е. 
   	(2.2)
при n → ∞ (сходимость по вероятности).
	В (2.2) использовано обозначение sup (читается как «супремум»). Для функции g(x) под  понимают наименьшее из чисел a таких, что g(x)<a при всех x. Если функция g(x) достигает максимума в точке х0, то . В таком случае вместо sup пишут max. Хорошо известно, что не все функции достигают максимума.
	В том же 1933 г. А.Н. Колмогоров усилил результат В.И. Гливенко для непрерывных функций распределения F(x). Рассмотрим случайную величину

и ее функцию распределения

По теореме А.Н.Колмогорова

при каждом х, где К(х) – т.н. функция распределения Колмогорова.
	Рассматриваемая работа А.Н. Колмогорова породила одно из основных направлений математической статистики – т.н. непараметрическую статистику. И в настоящее время непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат широко используются. Они разработаны для проверки согласия с полностью известным теоретическим распределением, т.е. предназначены для проверки гипотезы . Основная идея критериев Колмогорова, омега-квадрат и аналогичных им состоит в измерении расстояния между функцией эмпирического распределения и функцией теоретического распределения. Различаются эти критерии видом расстояний в пространстве функций распределения. Аналитические выражения для предельных распределений статистик, расчетные формулы, таблицы распределений и критических значений широко распространены [5], поэтому не будем их приводить. 
	Непараметрическое оценивание функции распределения. По теореме Гливенко эмпирическая функция распределения Fn(x) является состоятельной оценкой функции распределения F(x). Если F(x) – непрерывная функция, то на основе теоремы Колмогорова доверительные границы для функции распределения F(x) задают в виде
(F(x))Н = max , (F(x))B = min ,
где k(γ,n) – квантиль порядка γ распределения статистики Колмогорова при объеме выборки n (напомним, что распределение этой статистики не зависит от F(x)).
	Правила определения оценок и доверительных границ иногда строятся на основе параметрического семейства распределений F(x;θ). При обработке реальных данных возникает вопрос – соответствуют ли эти данные принятой вероятностной модели? Т.е. статистической гипотезе о том, что результаты наблюдений имеют функцию распределения из семейства {F(x;θ), θΘ} при некотором θ = θ0? Такие гипотезы называют гипотезами согласия, а критерии их проверки – критериями согласия.
	Если истинное значение параметра θ = θ0 известно, функция распределения F(x;θ0) непрерывна, то для проверки гипотезы согласия часто применяют критерий Колмогорова, основанный на статистике

где Fn(x) – эмпирическая функция распределения. 
	Если истинное значение параметра θ0 неизвестно, например, при проверке гипотезы о нормальности распределения результатов наблюдения (т.е. при проверке принадлежности этого распределения к семейству нормальных распределений), то иногда используют статистику типа Колмогорова

Она отличается от статистики Колмогорова Dn тем, что вместо истинного значения параметра θ0 подставлена его оценка θ*. 
	Распределение статистики Dn(θ*) сильно отличается от распределения статистики Dn. В качестве примера рассмотрим проверку нормальности, когда θ = (m, σ2), а θ* = (, s2). Для этого случая квантили распределений статистик Dn и Dn(θ*) приведены в табл. 2.4 (см., например, [6]). Таким образом, квантили отличаются примерно в 1,5 раза.

Таблица 2.4
Квантили статистик Dn и Dn(θ*) при проверке нормальности
Значение функции распределения р	0,85	0,90	0,95	0,975	0,99	
Квантили порядка р для Dn 	1,138	1,224	1,358	1,480	1,626	
Квантили порядка р для Dn(θ*)	0,775	0,819	0,895	0,955	1,035	

2.5. Непараметрические оценки плотности

	Эмпирическая функция распределения – это состоятельная непараметрическая оценка функции распределения числовой случайной величины. А как оценить плотность? Если продифференцировать эмпирическую функцию распределения, то получим бесконечности в точках, соответствующих элементам выборки, и 0 во всех остальных. Ясно, что это не оценка плотности. 
	Как же действовать? Каждому элементу выборки соответствует в эмпирическом распределении вероятность 1/n, где n – объем выборки. Целесообразно эту вероятность не помещать в одну точку, а «размазать» вокруг нее, построив «холмик». Если «холмики» налегают друг на друга, то получаем положительную плотность на всей прямой. Чтобы получить состоятельную оценку плотности, необходимо выбирать ширину «холмика» в зависимости от объема выборки. При этом число «холмиков», покрывающих фиксированную точку, должно безгранично расти. Но одновременно доле таких «холмиков» следует убывать, поскольку покрывающие «холмики» должны быть порождены лишь ближайшими членами вариационного ряда. 
	Реализация описанной идеи привела к различным вариантам непараметрических оценок плотности. Основополагающей является работа члена-корреспондента АН СССР Н.В. Смирнова 1951 г. Вначале рассматривались непараметрические оценки плотности распределения числовых случайных величин и конечномерных случайных векторов. В 1980-х годах удалось сконструировать такие оценки в пространствах произвольной природы, а затем и для конкретных видов нечисловых данных [7]. 
	Чтобы определить понятие плотности, в пространстве Х должна быть выделена некоторая специальная мера , относительно которой будут рассматриваться плотности, соответствующие другим мерам, например, мере , задающей распределение вероятностей некоторого случайного элемента . В таком случае (А) = Р(А) для любого случайного события А. Плотность f(x), соответствующая мере  - это такая функция, что 

для любого случайного события А. Для случайных величин и векторов мера  - это объем множества А, в математических терминах - мера Лебега. 
	Как могут быть использованы непараметрические оценки плотности распределения вероятностей в пространствах нечисловой природы? Например, для решения задач классификации (диагностики, распознавания образов - см. главу 6.4). Зная плотности распределения классов, можно решать основные задачи диагностики - как задачи выделения кластеров, так и задачи отнесения вновь поступающего объекта к одному из диагностических классов. В задачах кластер-анализа можно находить моды плотности и принимать их за центры кластеров или за начальные точки итерационных методов типа k-средних или динамических сгущений. В задачах собственно диагностики (дискриминации, распознавания образов с учителем) можно принимать решения о диагностике объектов на основе отношения плотностей, соответствующих классам. При неизвестных плотностях представляется естественным использовать их состоятельные оценки. 
	Методы оценивания плотности вероятности в пространствах общего вида предложены и первоначально изучены в работе [8]. В частности, в задачах диагностики и кластер-анализа целесообразно использовать непараметрические ядерные оценки плотности типа Парзена - Розенблатта (этот вид оценок пространствах общего вида и его название впервые были введены в статье [8]):

 где К:  - так называемая ядерная функция, x1, x2, …, xn  X - выборка, по которой оценивается плотность, d(xi , x) - показатель различия (метрика, расстояние, мера близости) между элементом выборки xi  и точкой x, в которой оценивается плотность, последовательность hn  показателей размытости такова, что hn → 0 и nhn→ ∞ при , а  - нормирующий множитель, обеспечивающий выполнение условия нормировки (интеграл по всему пространству от непараметрической оценки плотности fn(x) по мере  должен равняться 1). Ранее американские исследователи Парзен и Розенблатт использовали подобные статистики в случае  с d(xi , x) = |xi  - x|.
	В качестве ядерной функции распределения можно взять функцию, равную 1/2 на отрезке [-1; 1] и 0 вне этого отрезка. Или плотность стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Показателем различия d(xi , x) может служить обычное евклидово расстояние. Показатель размытости  при любом α из интервала (0; 1) удовлетворяет введенным выше условиям.
	Введенные описанным выше образом ядерные оценки плотности - частный случай так называемых линейных оценок, также впервые предложенных в работе [8]. В теоретическом плане они выделяются тем, что удается получать результаты такого же типа, что в классическом одномерном случае, но с помощью совсем иного математического аппарата.
	Свойства непараметрических ядерных оценок плотности. Рассмотрим выборку со значениями в некотором пространстве, в котором заданы показатель различия d и мера . Одна из основных идей рассматриваемого подхода - согласовать их между собой. А именно, на их основе построим новый показатель различия d1 , так называемый «естественный», в терминах которого проще формулируются свойства непараметрической оценки плотности. Для этого рассмотрим шары  радиуса t > 0 и их меры Fx(t) = (Lt(x)). Предположим, что Fx(t) как функция t при фиксированной точке x непрерывна и строго возрастает. Введем функцию d1(x,y)= Fx(d(x,y)). Это - монотонное преобразование показателя различия или расстояния, а потому d1(x,y) - также показатель различия (даже если d - метрика, для d1 неравенство треугольника может быть не выполнено). Другими словами, d1(x,y), как и d(x,y), можно рассматривать как показатель различия (меру близости) между x и y. 
	Для вновь введенного показателя различия d1(x,y) введем соответствующие шары . Поскольку обратная функция F -1x(t) определена однозначно, то 
,
где T = F -1x(t). Следовательно, справедлива цепочка равенств 
F1х(t) = (L1t(x)) = (LT(x)) = Fx(F -1x(t)) = t
(для всех тех значений параметра t, для которых определены все участвующие в записи математические объекты). 
 	Переход от d к d1 напоминает классическое преобразование, использованное Н.В. Смирновым при изучении непараметрических критериев согласия и однородности, а именно, преобразование , переводящее случайную величину  с непрерывной функцией распределения F(x) в случайную величину , равномерно распределенную на отрезке [0,1]. Оба рассматриваемых преобразования существенно упрощают дальнейшие рассмотрения. Преобразование d1= Fx(d) зависит от точки x, что не влияет на дальнейшие рассуждения, поскольку ограничиваемся изучением сходимости в отдельно взятой точке.
	Функцию d1(x,y), для которой мера шара радиуса t равна t, называем в соответствии с работой [8] «естественным показателем различия» или «естественной метрикой». В случае конечномерного пространства Rk и евклидовой метрики d имеем d1(x,y) = ck dk(x,y), где ck  - объем шара единичного радиуса в Rk .
	Поскольку можно записать, что 
,
где 
,
 то переход от одного показателя различия к другому, т.е. от d к d1, соответствует переходу от одной ядерной функции к другой, т.е. от K к K1. Выгода от такого перехода заключается в том, что утверждения о поведении непараметрических оценок плотности приобретают более простую формулировку.
	Теорема 2.1. Пусть d - естественная метрика, плотность f непрерывна в точке x и ограничена на всем пространстве X , причем f(x) > 0, ядерная функция K(u) удовлетворяет простым условиям регулярности
.
Тогда n(hn ,x) = nhn, оценка fn(x) является состоятельной, т.е. fn(x)  f(x) по вероятности при n и, кроме того,

	Теорема 2.1 доказывается методами, развитыми в работе [8]. Однако остается открытым вопрос о скорости сходимости ядерных оценок, в частности, о поведении величины n = M(fn(x)-f(x))2 - среднего квадрата ошибки,  и об оптимальном выборе показателей размытости hn . Для того, чтобы продвинуться в решении этого вопроса, введем новые понятия. Для случайного элемента X() со значениями в X рассмотрим т.н. круговое распределение G(x,t) = P{d(X(), x)<t} и круговую плотность g(x,t)= G't(x,t).
	Теорема 2.2. Пусть ядерная функция K(u) непрерывна и финитна, т.е. существует число E такое, что K(u) = 0 при u > E. Пусть круговая плотность является достаточно гладкой, т.е. допускает разложение

при некотором k, причем остаточный член равномерно ограничен на [0, hE]. Пусть

Тогда

	Доказательство теоремы 2.2 проводится с помощью разработанной в нечисловой статистике математической техники, образцы которой представлены, в частности, в работе [8]. Если коэффициенты при основных членах в правой части последней формулы не равны 0, то величина n достигает минимума, равного при  Эти выводы совпадают с классическими результатами, полученными ранее рядом авторов для весьма частного случая прямой X = R1 . Для уменьшения смещения оценки приходится применять знакопеременные ядра K(u).
	Непараметрические оценки плотности лучше, чем гистограммы, отражают эмпирическое распределение. Однако для расчета таких  оценок необходимо использование вычислительной техники. Программная реализация описания статистических данных с помощью непараметрических оценок плотности включена в ряд программных продуктов по статистическим методам. Примерами являются диалоговая система анализа данных ДИСАН и пакет программ анализа данных ППАНД [9], разработанные под научным руководством автора настоящего учебника. 

Литература 

1. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. - Л.: Энергоатомиздат, 1985. - 248 с. 
2. Шевцова И.Г. Уточнение абсолютной константы в классическом неравенстве Берри-Эссеена. – Статистические методы оценивания и проверки гипотез: межвузовский сборник научных трудов / Пермский государственный университет. – Пермь, 2008. – С.159 – 168.
3. Петров В.В. Суммы независимых случайных величин.  - М.: Наука, 1972. - 416 с.
4. Егорова Л.А., Харитонов Ю.С., Соколовская Л.В. О применении непараметрического Х-критерия Ван-дер-Вардена при статистической обработке результатов наблюдений // Заводская лаборатория. - 1976. - Т.42. - № 11. - С.1237-1237. 
5. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.). -  416 с.
6. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. - 1985. - Т.51. - №1. - С.60-62.
7. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
8. Орлов А.И. Непараметрические оценки плотности в топологических пространствах // Прикладная статистика. / Ученые записки по статистике, т.45. - М.: Наука, 1983. - С. 12-40. 
9. Пакет программ анализа данных «ППАНД». Учебное пособие / Легостаева И.Л., Орлов А.И., Черномордик О.М и др. - М.: Сотрудничающий центр ВОЗ по профессиональной гигиене, 1990. - 93 с. 

Контрольные вопросы и задачи
 
1. Часто ли результаты измерений имеют нормальное распределение?
2. По выборке фактических данных о величине годового дохода (в тыс. долл.), взятых на конец 1970-х гг. (США), постройте вариационный ряд, гистограмму (группируя данные по 6-ти равным интервалам); определить выборочные среднее арифметическое, медиану и моду:
2,0; 13,4; 2,2; 6,7; 11,1; 10,0; 2,6; 12,9; 10,5; 9,2; 11,1;
14,0; 26,0; 17,5; 7,2; 18,7; 9,9; 7,6; 11,7;11,3; 6,5.
3. Дано распределение по градациям (табл. 2.5) почасовой зарплаты 303 рабочих, занятых в промышленности (fi - число рабочих, имеющих почасовую зарплату xi). Постройте эмпирическую функцию распределения, найти выборочные медиану, моду и среднее арифметическое. 

Таблица 2.5
Распределение рабочих по ставкам почасовой оплаты
xi	2,5	2,6	2,7	2,8	2,9	3,0	3,1	3,2	3,3	3,4	
fi	10	25	41	74	58	34	17	14	11	3	

4. Как связаны эмпирическое распределение и эмпирическая функция распределения?
5. Можно ли проверять нормальность распределения с помощью критерия согласия Колмогорова?
6. Приведите конкретные примеры непараметрических оценок плотности. 
7. Почему описание числовых данных с помощью непараметрических оценок плотности предпочтительнее их описания с помощью гистограмм? 

Темы докладов, рефератов, исследовательских работ

1. Сравнение непараметрических и параметрических подходов к анализу статистических данных.
2. Различные виды статистических таблиц.
3. Методы наглядного представления статистических данных.
4. Система выборочных характеристик распределения. 
5. Проведите описание данных, приведенных в табл. 2.1 (раздел 2.2) в столбцах (2), (3) и (4). Постройте таблицы (типа табл. 2.2 и 2.3 там же), рассчитайте выборочные характеристики.
6. Аналоги эмпирической функции распределения.
7. Методы изучения асимптотических распределений статистик типа Колмогорова.
8. Ядерные непараметрические оценки плотности и оценки, основанные на разложении плотности в ряд по базисным функциям.
9. Непараметрические оценки плотности в непрерывных и дискретных пространствах.

Глава 3. Оценивание 

3.1. Методы оценивания параметров 
 
	Статистические методы иногда опираются на разнообразные параметрические модели. Термин «параметрический» означает: вероятностно-статистическая модель полностью описывается конечномерным вектором фиксированной размерности. Причем эта размерность не зависит от объема выборки.
	Рассмотрим выборку x1, x2,…, xn из распределения с плотностью f(x;θ0), где f(x;θ0)- элемент параметрического семейства плотностей распределения вероятностей {f(x;θ), θєΘ}. Здесь Θ – заранее известное k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0 статистику неизвестно. Обычно в прикладной статистике применяются параметрические семейства с k = 1, 2, 3. В статистике нечисловых данных вместо плотности часто рассматриваются вероятности попадания в точки. В параметрических задачах оценивания принимают вероятностную модель, согласно которой результаты наблюдений x1, x2,…, xn рассматривают как реализации n независимых случайных величин. 
	Задача оценивания - оценить неизвестное статистику значение параметра θ0 наилучшим (в каком-либо смысле) образом.
	Пример 1. В статистических задачах стандартизации и управления качеством используют семейство гамма-распределений. Плотность гамма-распределения имеет вид
		(3.1)
Плотность вероятности в формуле (3.1) определяется тремя параметрами a, b, c, где a > 2, b > 0. При этом a является параметром формы, b - параметром масштаба и с - параметром сдвига. Множитель 1/Γ(а) является нормировочным, он введен, чтобы

Здесь Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция», по которой названо и распределение, задаваемое формулой (3.1),

Подробные решения задач оценивания параметров для гамма-распределения содержатся в разработанном нами государственном стандарте ГОСТ 11.011-83 «Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения» [1]. В настоящее время эта публикация используется в качестве методического материала для инженерно-технических работников промышленных предприятий и прикладных научно-исследовательских институтов.
	Поскольку гамма-распределение зависит от трех параметров, то имеется 23 – 1 = 7 вариантов постановок задач оценивания. Они описаны в табл. 3.1. 
Таблица 3.1
Постановки задач оценивания  параметров гамма-распределения
№ п/п	Параметр формы	Параметр масштаба	Параметр сдвига	
1	Известен	Оценивается	Известен	
2	Оценивается	Известен	Известен	
3	Известен	Известен	Оценивается	
4	Оценивается	Оценивается	Известен	
5	Известен	Оценивается	Оценивается	
6	Оценивается	Известен	Оценивается	
7	Оценивается	Оценивается	Оценивается	

	В табл. 3.2 приведены реальные данные о наработке резцов до предельного состояния, в часах. Упорядоченная выборка (вариационный ряд) объема n = 50 взята из государственного стандарта [1]. Проверка согласия данных о наработке резцов с семейством гамма-распределений проведена в главе 4.1. Именно эти данные будут служить исходным материалом для демонстрации тех или иных методов оценивания параметров.

Таблица 3.2
Наработка резцов до предельного состояния, ч
№ п/п	Наработка, ч	№ п/п	Наработка, ч	№ п/п	Наработка, ч	
1	9	18	47,5	35	63	
2	17,5	19	48	36	64,5	
3	21	20	50	37	65	
4	26,5	21	51	38	67,5	
5	27,5	22	53,5	39	68,5	
6	31	23	55	40	70	
7	32,5	24	56	41	72,5	
8	34	25	56	42	77,5	
9	36	26	56,5	43	81	
10	36,5	27	57,5	44	82,5	
11	39	28	58	45	90	
12	40	29	59	46	96	
13	41	30	59	47	101,5	
14	42,5	31	60	48	117,5	
15	43	32	61	49	127,5	
16	45	33	61,5	50	130	
17	46	34	62			

	Выбор «наилучших» оценок в определенной параметрической модели прикладной статистики – научно-исследовательская работа, растянутая во времени. Выделим два этапа. 
	Этап асимптотики: оценки строятся и сравниваются по их свойствам при безграничном росте объема выборки. На этом этапе рассматривают такие характеристики оценок, как состоятельность, асимптотическая эффективность и др. 
	Этап конечных объемов выборки: оценки сравниваются, скажем, при n = 10. Ясно, что исследование начинается с этапа асимптотики: чтобы сравнивать оценки, надо сначала их построить и быть уверенными, что они не являются абсурдными (такую уверенность дает доказательство состоятельности). 
	С какой оценки начинать? Одним из наиболее известных и простых в употреблении методов является метод моментов. Название связано с тем, что этот метод опирается на использование выборочных моментов

где x1, x2,…, xn – выборка, т.е. набор независимых одинаково распределенных случайных величин с числовыми значениями. 
	В прикладной статистике метод анализа данных называется методом моментов, если он использует статистику
		(3.2)
где g: Rq → Rk – некоторая функция (здесь k – число неизвестных числовых параметров). 
	Чаще всего термин «метод моментов» используют, когда речь идет об оценивании параметров. В этом случае обычно предполагают, что плотность вероятности распределения элементов выборки f(x) входит в заранее известное статистику параметрическое семейство {f(x;θ), θєΘ}, т.е. f(x) = f(x;θ0) при некотором θ0. Здесь Θ – заранее заданное k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0 статистику неизвестно, его и следует оценить. Известно также, что неизвестный параметр определяется с помощью известной статистику функции через начальные моменты элементов выборки:
		(3.3)
В методе моментов в качестве оценки θ0 используют статистику Yn вида (3.2), которая отличается от правой части формулы (3.2) заменой теоретических моментов заменены выборочными. 
	Статистики Yn вида (3.2) применяются не только для оценивания параметров, но и для непараметрического оценивания характеристик случайной величины, таких, как коэффициент вариации, и для проверки гипотез. Во всех случаях применения статистики Yn вида (3.2) говорят о методе моментов.
	Распределение вектора Yn во всех практически важных случаях является асимптотически нормальным. Это утверждение опирается на следующий общий факт.
	Пусть случайный вектор Zn  Rq асимптотически нормален с математическим ожиданием z∞ и ковариационной матрицей ||cij||/n, а функция h: Rq → R1 достаточно гладкая. Тогда случайная величина h(Zn) асимптотически нормальна с математическим ожиданием h(z∞) и дисперсией
		(3.4)
Этот способ нахождения предельного распределения известен как δ-метод Рао, метод линеаризации. Последний термин и будем использовать. Условия регулярности, накладываемые на распределение случайной величины Zn и функцию h, при которых метод линеаризации обоснован, хорошо известны (см. главу 14 настоящего учебника).
	Для получения асимптотического распределения статистики Yn вида (3.2) можно применить метод линеаризации к асимптотически нормальному вектору выборочных моментов (Mn1, Mn2, …, Mnq) и функции g из формулы (3.2).
	В силу многомерной центральной предельной теоремы (см. главу 14) указанная асимптотическая нормальность имеет место, если, например,

Это условие выполнено, в частности, для результатов измерений, распределения которых сосредоточены на ограниченных сверху и снизу интервалах. 
	При реализации намеченного плана для применения формулы (3.4) необходимо использовать асимптотические дисперсии и ковариации выборочных моментов, т.е. величины, обозначенные в формуле (3.4) как crs. Эти величины имеют вид:

  (3.5)
Здесь μr – теоретический центральный момент порядка r, т.е.

Таким образом, для получения асимптотического распределения случайной величины Yn вида (3.2) достаточно знать теоретические центральные моменты результатов наблюдений и вид функции g. Асимптотическим смещением оценок в рассматриваемом случае можно пренебречь, поскольку его вклад в средний квадрат ошибки статистической оценки – бесконечно малая величина более высокого порядка по сравнению с асимптотической дисперсией. 
	Однако моменты неизвестны. Их приходится оценивать. Согласно теоремам о наследовании сходимости для нахождения асимптотического распределения функции от выборочных моментов можно воспользоваться не теоретическими моментами, а их состоятельными оценками. Эти оценки можно получить разными способами. Можно непосредственно применить формулы (3.5), заменив теоретические моменты выборочными. Можно выразить моменты через параметры рассматриваемого распределения. Можно применять более сложные процедуры, например, на основе непараметрических устойчивых (робастных) оценок моментов типа урезанных средних Пуанкаре и др. (в первой в России книге по общей теории устойчивости [2] проблематика робастных оценок рассмотрена в главе 2).
	Для оценивания параметров гамма-распределения воспользуемся известной формулой [1], согласно которой для случайной величины Х, имеющей гамма-распределение с параметрами формы а, масштаба b =1 и сдвига c=0,  
		(3.6)
Следовательно, M(X) = a, M(X2) = a(a+1), D(X) = M(X2) – (M(X))2 = a(a+1) – a2 = a. Найдем третий центральный момент M(X – M(X))3. Справедливо равенство
M(X – M(X))3 = M(X3) – 3 M(X2) M(X) + 3 M(X) (M(X))2 - (M(X))3.
Из равенства (3.6) вытекает, что 
M(X – M(X))3 = a(a+1)(a+2) – 3 a (a+1) a + 3 a a2 – a3 = 2a.
	Если Y – случайная величина, имеющая гамма-распределение с произвольными параметрами формы a, масштаба b и сдвига c, то Y = bX + c. Следовательно, M(Y) = ab+c, D(Y) = ab2, M(Y – M(Y))3 = 2ab3.
	Пример 2. Оценивание методом моментов параметров гамма-распределения в случае трех неизвестных параметров (строка 7 табл. 3.1).
	В соответствии с проведенными выше рассуждениями для оценивания трех параметров достаточно использовать три выборочных момента – выборочное среднее арифметическое

выборочную дисперсию

и выборочный третий центральный момент

Приравнивая теоретические моменты, выраженные через параметры распределения, и выборочные моменты, получаем систему уравнений метода моментов:

Решая эту систему, находим оценки метода моментов.  Подставляя второе уравнение в третье, получаем оценку метода моментов для параметра сдвига:  

Подставляя эту оценку во второе уравнение, находим оценку метода моментов для параметра формы:

Наконец, из первого уравнения находим оценку для параметра сдвига:

Для реальных данных [1], приведенных выше в табл. 3.2, выборочное среднее арифметическое  = 57,88, выборочная дисперсия s2 = 663,00, выборочный третий центральный момент m3 = 14927,91. Согласно только что полученным формулам оценки метода моментов таковы:
a* = 5,23; b* = 11,26, c* = - 1,01.
	Оценки параметров гамма-распределения, полученные методом моментов, являются функциями от выборочных моментов. В соответствии со сказанным выше они являются асимптотически нормальными случайными величинами. 

Таблица 3.3
Оценки метода моментов и их асимптотические дисперсии
№ п/п	Описание вероятностной модели	Оцени-ваемый пара-метр	Вид оценки	Асимптотическая дисперсия оценки	
	a	b	c				
(1)	(2)	(3)	(4)	(5)	(6)	(7)	
1	-	-	+	a			
2	-	-	+	b			
3	-	-	-	a			
4	-	-	-	b			
5	-	-	-	c			
6	+	-	-	b			
7	+	-	-	c			
8	-	+	-	A			
9	-	+	-	c			
10	+	+	-	c			
	Примечание. При описании вероятностной модели известные статистику параметры отмечены плюсами, оцениваемые – минусами.

	Их распределения аппроксимируются нормальными распределениями, математические ожидания которых равны соответствующим  параметрам, а дисперсии находятся с помощью формулы (3.4) с учетом формул (3.5) и (3.6). В табл. 3.3 приведены оценки метода моментов и их асимптотические дисперсии при различных вариантах сочетания известных и неизвестных параметров гамма-распределения.
	Все оценки метода моментов, приведенные в табл. 3.3, включены в государственный стандарт [1]. Они охватывают все постановки задач оценивания параметров гамма-распределения (см. табл. 3.1) , кроме тех, когда неизвестен только один параметр – a или b. Для этих исключительных случаев в [1] разработаны специальные методы оценивания. 
	Поскольку асимптотическое распределение оценок метода моментов известно, то не представляет труда формулировка правил проверки статистических гипотез относительно значений параметров распределений, а также построение доверительных границ для параметров. Например, в вероятностной модели, когда все три параметра неизвестны, в соответствии с третьей строкой таблицы 3.3 нижняя доверительная граница для параметра а, соответствующая доверительной вероятности γ = 0,95, в асимптотике имеет вид

а верхняя доверительная граница для той же доверительной вероятности такова

где а* - оценка метода моментов параметра формы (табл. 3.3).
	Метод моментов является универсальным. Однако получаемые с его помощью оценки лишь в редких случаях обладают оптимальными свойствами. Поэтому в прикладной статистике применяют и другие виды оценок.
	В работах, предназначенных для первоначального знакомства с математической статистикой, обычно рассматривают оценки максимального правдоподобия (ОМП):
		(3.7)
Таким образом, сначала строится плотность распределения вероятностей, соответствующая выборке. Поскольку элементы выборки независимы, то эта плотность представляется в виде произведения плотностей для отдельных элементов выборки. Совместная плотность рассматривается в точке, соответствующей наблюденным значениям. Это выражение как функция от параметра (при заданных элементах выборки) называется функцией правдоподобия. Затем тем или иным способом ищется значение параметра, при котором значение совместной плотности максимально. Это и есть оценка максимального правдоподобия.
	Хорошо известно, что оценки максимального правдоподобия входят в класс наилучших асимптотически нормальных оценок (строгое определение дано ниже). Однако при конечных объемах выборки в ряде задач ОМП недопустимы, т.к. они хуже (дисперсия и средний квадрат ошибки больше), чем другие оценки, в частности, несмещенные. Именно поэтому в ГОСТ 11.010-81 для оценивания параметров отрицательного биномиального распределения используются несмещенные оценки, а не ОМП [3]. Из сказанного следует: априорно предпочитать ОМП другим видам оценок можно – если можно – лишь на этапе изучения асимптотического поведения оценок.
	В отдельных случаях ОМП находятся явно, в виде конкретных формул, пригодных для вычисления.
	Пример 3. Найдем ОМП для выборки из нормального распределения, каждый элемент которой имеет плотность

Таким образом, надо оценить двумерный параметр (m, σ2).
	Произведение плотностей вероятностей для элементов выборки, т.е. функция правдоподобия, имеет вид
 		(3.8)
Требуется решить задачу оптимизации 

	Как и во многих иных случаях, задача оптимизации проще решается, если прологарифмировать функцию правдоподобия, т.е. перейти к функции
,
называемой логарифмической функцией правдоподобия. Для выборки из нормального распределения
		 (3.9)
	Необходимым условием максимума является равенство 0 частных производных от логарифмической функции правдоподобия по параметрам, т.е.
		 (3.10)
Система (3.10) называется системой уравнений максимального правдоподобия. В общем случае число уравнений равно числу неизвестных параметров, а каждое из уравнений выписывается путем приравнивания 0 частной производной логарифмической функции правдоподобия по тому или иному параметру. 
	При дифференцировании по m первые два слагаемых в правой части формулы (3.9) обращаются в 0, а последнее слагаемое дает уравнение
.
Следовательно, оценкой m* максимального правдоподобия параметра m является выборочное среднее арифметическое, 
.
	Для нахождения оценки дисперсии необходимо решить уравнение

Легко видеть, что

Следовательно, оценкой (σ2)* максимального правдоподобия для дисперсии σ2 с учетом найденной ранее оценки для параметра m является выборочная дисперсия,

Итак, система уравнений максимального правдоподобия решена аналитически, ОМП для математического ожидания и дисперсии нормального распределения – это выборочное среднее арифметическое и выборочная дисперсия. Отметим, что последняя оценка является смещенной. 
	В условиях примера 3 оценки метода максимального правдоподобия совпадают с оценками метода моментов. Причем вид оценок метода моментов очевиден и не требует проведения каких-либо рассуждений.
	В большинстве случаев аналитических решений не существует, для нахождения ОМП необходимо применять численные методы. Так обстоит дело, например, с выборками из гамма-распределения или распределения Вейбулла-Гнеденко. Во многих работах каким-либо итерационным методом решают систему уравнений максимального правдоподобия или впрямую максимизируют функцию правдоподобия типа (3.8).
	Однако применение численных методов порождает многочисленные проблемы. Сходимость итерационных методов требует обоснования. В ряде примеров функция правдоподобия имеет много локальных максимумов, а потому естественные итерационные процедуры не сходятся. Для данных ВНИИ железнодорожного транспорта, относящихся к усталостным испытаниям стали, уравнение максимального правдоподобия имеет 11 корней [3]. Какой из одиннадцати использовать в качестве оценки параметра? 
	Как следствие осознания указанных трудностей, стали появляться работы по доказательству сходимости алгоритмов, предназначенных для нахождения оценок максимального правдоподобия для конкретных вероятностных моделей и конкретных алгоритмов. 
	Однако теоретическое доказательство сходимости итерационного алгоритма – это еще не всё. Возникает вопрос об обоснованном выборе момента прекращения вычислений в связи с достижением требуемой точности. В большинстве случаев он не решен. 
	Но и это не все. Точность вычислений необходимо увязывать с объемом выборки – чем он больше, тем точнее надо находить оценки параметров, в противном случае нельзя говорить о состоятельности метода оценивания. Более того, при увеличении объема выборки необходимо увеличивать и количество используемых в компьютере разрядов, переходить от одинарной точности расчетов к двойной и далее к тройной, четверной и т.д. – опять-таки ради достижения состоятельности оценок. 
	Таким образом, при отсутствии явных формул для оценок максимального правдоподобия нахождение ОМП натыкается на ряд проблем вычислительного характера. Специалисты по математической статистике позволяют себе игнорировать все эти проблемы, рассуждая об ОМП в теоретическом плане. Однако специалисты по прикладной статистике не может их игнорировать. Отмеченные проблемы ставят под вопрос целесообразность практического использования ОМП.
	Нет необходимости абсолютизировать ОМП. Кроме них, существуют другие виды оценок, обладающих хорошими статистическими свойствами. Примером являются одношаговые оценки (ОШ-оценки), обсуждаемые ниже.
	В прикладной статистике разработано много видов оценок. Упомянем квантильные оценки, основанные на идее, аналогичной методу моментов, но только вместо выборочных и теоретических моментов приравниваются выборочные и теоретические квантили. Другая группа оценок базируется на идее минимизации расстояния (показателя различия) между эмпирическими данными и элементом параметрического семейства. В простейшем случае минимизируется евклидово расстояние между эмпирическими и теоретическими гистограммами, а точнее, векторами, составленными из высот столбиков гистограмм. 

3.2. Одношаговые оценки

	Одношаговые оценки имеют столь же хорошие асимптотические свойства, что и оценки максимального правдоподобия, при тех же условиях регулярности, что и ОМП. Грубо говоря, они представляют собой результат первой итерации при решении системы уравнений максимального правдоподобия по методу Ньютона-Ватсона. Одношаговые оценки выписываются в виде явных формул, а потому требуют существенно меньше машинного времени, а также могут применяться при ручном счете (на калькуляторах). Снимаются вопросы о сходимости алгоритмов, о выборе момента прекращения вычислений, о влиянии округлений при вычислениях на окончательный результат. ОШ оценки были использованы при разработке ГОСТ 11.011-83 вместо ОМП.  
	Как и раньше, рассмотрим выборку x1, x2,…, xn из распределения с плотностью f(x;θ0), где f(x;θ0)- элемент параметрического семейства плотностей распределения вероятностей {f(x;θ), θєΘ}. Здесь Θ – известное статистику k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0  неизвестно. Его и будем оценивать.
	Обозначим θ =(θ1, θ2,…, θk). Рассмотрим вектор-столбец частных производных логарифма плотности вероятности

и матрицу частных производных второго порядка для той же функции

	Положим

	Пусть матрица информации Фишера I(θ0) = M[-bn(θ0)] положительно определена.
	Определение 1. Оценку θ(n) параметра θ0 называют наилучшей асимптотически нормальной оценкой (сокращенно НАН-оценкой), если распределение случайного вектора  сходится при n → ∞ к нормальному распределению с математическим ожиданием 0 и ковариационной матрицей I-1(θ0).
	Определение 1 корректно: I-1(θ0) является нижней асимптотической границей для ковариационной матрицы случайного вектора , где θ*(n) – произвольная оценка; кроме ОМП есть и иные НАН-оценки, например, байесовские оценки (см. [3] и др.). Сказанное об ОМП и байесовских оценках справедливо при некоторых условиях регулярности. В ряде случаев несмещенные оценки являются НАН-оценками, более того, они лучше, чем ОМП (их дисперсия меньше), при конечных объемах выборки [3].
	Для анализа реальных данных естественно рекомендовать какую-либо из НАН-оценок. Это утверждение всегда верно на этапе асимптотики при изучении конкретной задачи прикладной статистики. Теоретически можно предположить, что при тщательном изучении для конкретных конечных объемов выборки наилучшей окажется какая-либо оценка, не являющаяся НАН-оценкой. Однако такие ситуации специалистам пока не известны.
	Пусть θ1(n) и  - некоторые оценки θ0 и I-1(θ0) соответственно.
	Определение 2. Одношаговой оценкой (ОШ-оценкой, или ОШО) называется оценка 

	Теорема 1. Пусть выполнены следующие условия.
	(I) Распределение  сходится при n → ∞ к нормальному распределению с математическим ожиданием 0 и ковариационной матрицей I(θ0) и, кроме того, существует     
	(II) При некотором ε > 0 и n → ∞

	(III) Для любого ε > 0

Тогда ОШ-оценка является НАН-оценкой.
	Доказательство. Рассмотрим тождество
   	(3.8)
В силу условия (II) теоремы 
 
(3.9)
Из условия (I) теоремы следует, что первое слагаемое в правой части равенства (3.9) сходится при n → ∞ по распределению к многомерному нормальному закону с математическим ожиданием 0 и ковариационной матрицей I-1(θ0). Согласно  условию (III)

по вероятности. Кроме того, согласно тому же условию последовательность матриц  ограничена по вероятности. Поэтому третье слагаемое в правой части формулы (3.9) сходится к 0 по вероятности. 
	Для завершения доказательства теоремы осталось показать, что
     (3.10)
по вероятности. Левая часть формулы (3.10) преобразуется к виду 
          (3.11)
где Е – единичная матрица. Поскольку из условия (I) теоремы следует, что для bn(θ0) справедлива (многомерная) центральная предельная теорема, то

С учетом условия (III) теоремы заключаем, что 
        (3.12)
Из соотношений (3.11), (3.12) и условия (III) теоремы вытекает справедливость формулы (3.10). Теорема доказана. 
	Прокомментируем условия теоремы. Условия (I) и (II) обычно предполагаются справедливыми при рассмотрении оценок максимального правдоподобия. Эти условия можно выразить в виде требований, наложенных непосредственно на плотность f(x;θ) из параметрического семейства. Условие (III) теоремы, наложенное на исходные оценки, весьма слабое. Обычно используемые оценки θ1(n) и  являются не n-1/4-состоятельными, а -состоятельными, т.е. условие (III) заведомо выполняется.
	Какие оценки годятся в качестве начальных? В качестве θ1(n) можно использовать оценки метода моментов, как это сделано в ГОСТ 11.011-83 [1], или, например, квантильные. В качестве  иногда предлагается использовать простейшую оценку 
      (3.13)
	Для гамма-распределения с неизвестными параметрами формы, масштаба и сдвига ОШ-оценки применены в [1]. При этом оценка (3.13) оказалась непрактичной, поскольку с точностью до погрешностей измерений и вычислений det(bn) = 0 для реальных данных о наработке резцов до предельного состояния, приведенных выше в табл. 3.2 раздела 3.1. Поскольку det(bn) = 0, то обратная матрица не существует, вычисления по формуле (3.13) невозможны. Поэтому в [1] в качестве ОШ-оценки была применена непосредственно первая итерация метода Ньютона-Рафсона решения системы уравнений максимального правдоподобия, т.е. была использована оценка 
      (3.14)
В формуле (3.14) непосредственно используется явный вид зависимости матрицы информации Фишера от неизвестных параметров распределения.
	В других случаях выбор тех или иных начальных оценок, в частности, выбор между (3.13) и (3.14), может определяться, например, простотой вычислений. Можно использовать также устойчивые аналоги [2] перечисленных выше оценок.
	Еще в 1925 г., т.е. непосредственно при разработке метода максимального правдоподобия, его создатель Р.Фишер считал, что первая итерация по методу Ньютона-Рафсона дает хорошую оценку вектору неизвестных параметров [3]. Он, однако, рассматривал эту оценку как аппроксимацию ОМП. А.А.Боровков воспринимает ОШ-оценки как способ «приближенного вычисления оценок максимального правдоподобия» [4, с.225] и показывает асимптотическую эквивалентность ОШ-оценок и ОМП (в более сильных предположениях, чем в теореме 1; другими словами, теорема 1 обобщает результаты А.А. Боровкова относительно ОШ-оценок). Мы же полагаем, что ОШ-оценки имеют самостоятельную ценность, причем не меньшую, а в ряде случаев большую, чем ОМП. По нашему мнению, ОМП целесообразно применять (на этапе асимптотики) только тогда, когда они находятся явно. Во всех остальных случаях следует использовать на этом этапе ОШ-оценки (или какие-либо иные, выбранные из дополнительных соображений).
	С чем связана популярность оценок максимального правдоподобия? Из всех НАН-оценок они наиболее просто вводятся, ранее других предложены. Поэтому среди математиков сложилась устойчивая традиция рассматривать ОМП в курсах математической статистики. Однако при этом игнорируются вычислительные вопросы, а также отодвигаются в сторону другие многочисленные НАН оценки. 
	В прикладной статистике – иные приоритеты. На первом месте – ОШ-оценки, все остальные НАН-оценки, в том числе ОМП, рассматриваются в качестве дополнительных возможностей. 
	Пример 1. Найдем ОШ-оценки для гамма-распределения с плотностью
   (3.15)
Плотность вероятности в формуле (3.15) определяется тремя параметрами a, b, c, где a > 0, b > 0. При этом a является параметром формы, b - параметром масштаба и с - параметром сдвига. Здесь Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция», по которой названо и распределение, задаваемое формулой (3.15),

	Как следует из явного вида плотности (3.15), логарифмическая функция правдоподобия имеет вид: 

а уравнения правдоподобия таковы:

где

	Ясно, что выписанная система нелинейных уравнений не имеет аналитического решения, в отличие от аналогичной системы для семейства нормальных распределений. Построим ОШ-оценки для задачи оценивания трех неизвестных параметров [1]. 
	В качестве начальных оценок θ1(n) будем использовать оценки метода моментов (см. раздел 3.1):

где  - выборочное среднее арифметическое, s2 – выборочная дисперсия, m3 – выборочный третий центральный момент. 
	Матрица информации Фишера согласно [3] при a > 2 имеет вид
     	(3.16)
	Вектор-столбец частных производных логарифма плотности вероятности

имеет координаты

Таким образом, для получения sn(a*, b*, c*) необходимо вычислить две суммы

и произвести еще несколько арифметических действий, число которых не зависит от объема выборки.
	Одношаговые оценки an, bn, cn для параметров гамма-распределения вычисляют по формуле

где I-1 – обратная матрица к матрице информации Фишера I, заданной формулой (3.16). Матрицу I-1 нетрудно рассчитать аналитически. Формулы для нахождения одношаговых оценок расписаны в [1]. Расчеты облегчает то обстоятельство, что для гамма-распределения вторая координата вектора sn(a*, b*, c*) тождественно равна 0, т.е. 
sn(2)(a*, b*, c*) ≡ 0.
	При n → ∞ распределение вектора оценок (an, bn, cn) приближается трехмерным нормальным распределением с математическим ожиданием, равным вектору истинных значений параметров (a, b, c), и ковариационной матрицей I-1(an, bn, cn). На этом приближении основаны правила расчета доверительных границ для параметров гамма-распределения [1]. Дисперсии оценок неизвестны, но зато имеются известные статистику зависимости этих дисперсий от параметров гамма-распределения. Эти зависимости непрерывные. Они стоят на главной диагонали ковариационной матрицы I-1(an,bn, cn). Поэтому можно вместо неизвестных параметров подставить в них оценки этих параметров и на основе принципа наследования сходимости (см. главу 14 настоящего учебника) получить состоятельные оценки дисперсий. Затем на основе оценок дисперсий обычным образом строятся доверительные интервалы для параметров гамма-распределения. 
	В табл. 3.4 приведены результаты реализации описанной выше схемы расчетов - точечные и интервальные (при односторонней доверительной вероятности 0,95) оценки параметров гамма-распределения для данных, содержащихся в табл. 3.2 предыдущего пункта 3.1.

Таблица 3.4
Одношаговые оценки и доверительные границы
для параметров гамма-распределения
Параметр	Одношаговая оценка	Верхняя довери-тельная граница	Нижняя довери-тельная граница	
Формы	7,32	16,41	-1,77	
Масштаба	8,77	15,24	2,30	
Сдвига	- 11,46	23,28	- 46,20	

	Приведенные в табл. 3.4 данные получены на основе асимптотических формул. Из-за конечности объема выборки необходимо внести некоторые коррективы. Поскольку параметр формы всегда положителен, a > 0, то нижняя доверительная граница для этого параметра должна быть неотрицательна, следует положить aH = 0. Поскольку плотность гамма-распределения положительна только правее параметра с, то, очевидно, c < xmin = 9,00, верхняя доверительная граница для параметра сдвига должна быть заменена на cB = 9,00. 
	Может ли параметр сдвига быть отрицательным в данной прикладной задаче? Отрицательность параметра сдвига означает, что с положительной вероятностью рассматриваемая случайная величина отрицательна. Т.е. наработка резца до предельного состояния отрицательна. Ясно, что такого быть не может, хотя для специалиста по математической статистике отрицательность параметра сдвига вполне приемлема. Однако специалист по прикладной статистике должен признать неотрицательность параметра с при обработке данных, составляющих рассматриваемую выборку. Следовательно, нижнюю доверительную границу для параметра сдвига необходимо заменить на сн = 0.
	Как следует из проведенных выше рассуждений и выкладок [1], отношение дисперсий оценок метода моментов и ОШ-оценок имеет вид
		(3.17)
при больших а. 
	Это отношение, как и должно быть из общих соображений, всегда меньше 1. Отношение дисперсий возрастает при приближении к 0 коэффициента асимметрии распределения. Если a > 39,1 (коэффициент асимметрии меньше 0,102), то эффективность оценки метода моментов превышает 80%. При а = 20 (коэффициент асимметрии 0,20) она равна 65%. При безграничном росте параметра формы а гамма-распределение приближается к нормальному, для которого оценки метода моментов и ОМП совпадают, а потому имеют равные дисперсии. Поэтому вполне естественно, что отношение дисперсий в формуле (3.17) стремится к 1 при безграничном росте параметра формы а.
	Хотя дисперсии оценок метода моментов, как правило, больше, чем дисперсии НАН-оценок, таких, как ОШО и ОМП, метод моментов играет большую роль в статистических методах. Во-первых, обычно расчет оценок метода моментов проще (в частности, требует меньшего числа компьютерных операций), чем оценок других типов. К тому же оценки находятся с помощью выборочных моментов, которые, как правило, вычисляются на этапе описания статистических данных. Во-вторых, они служат основой для вычисления оценок других типов, например, ОШО. Для запуска итерационных методов нахождения ОМП также нужны начальные значения, и ими обычно являются оценки метода моментов. В-третьих, если учитывать погрешности результатов наблюдений, то оценки метода моментов могут оказаться точнее ОМП и асимптотически эквивалентных им ОШО, как это показано в статистике интервальных данных [3]. 
	Методы оценивания параметров гамма-распределения и примеры расчетов для всех семи постановок, перечисленных в табл. 3.1 раздела 3.1, приведены в [1]. Большинство из них основано на асимптотических (при n → ∞) теоретических результатах прикладной статистики. Методом статистических испытаний (Монте-Карло) показано, что уже при n > 10 используемые приближения удовлетворительны. Другими словами, асимптотической нормальностью оценок и другими важными для проведенных выше рассуждений предельными результатами можно пользоваться уже при  n > 10.
	Алгоритмическое и программное обеспечение ОШ-оценок для распределения Вейбулла-Гнеденко и гамма-распределения рассмотрено в содержательной монографии [5]. История вопроса освещена в монографии [3].

3.3. Асимптотика решений экстремальных статистических задач

	Если проанализировать приведенные в [3, 6] постановки и результаты, касающиеся эмпирических и теоретических средних и законов больших чисел (в пространствах произвольной природы), то становится очевидной возможность их обобщения. Так, доказательства теорем практически не меняются, если считать, что функция f(x,y) определена на декартовом произведении бикомпактных различных пространств X и Y, а не на X2. Тогда можно считать, что элементы выборки лежат в Х, а Y - пространство параметров, подлежащих оценке. 
	Обобщения законов больших чисел. Пусть, например, выборка х1 = х1(ω),  х2 = х2(ω), … , хn = хn(ω) взята из распределения с плотностью p(x,y), где у – неизвестный параметр. Если положить
f(x,y) = - ln p(x,y),
то задача нахождения эмпирического среднего 

переходит в задачу оценивания неизвестного параметра y методом максимального правдоподобия
.
Соответственно законы больших чисел переходят в утверждения о состоятельности этих оценок в случае пространств X и Y общего вида. 	При такой интерпретации функция f(x,y) уже не является расстоянием или показателем различия, как при определении теоретических и эмпирических средних. Однако для доказательства сходимости оценок к соответствующим значениям параметров это и не требуется. Достаточно, например, непрерывности этой функции на декартовом произведении бикомпактных пространств X и Y.
	В случае функции f(x,y) общего вида можно говорить об определении в пространствах произвольной природы оценок минимального контраста и их состоятельности. При этом при каждом конкретном значении параметра у справедливо предельное соотношение

где f – функция контраста. Тогда состоятельность оценок минимального контраста вытекает из справедливости предельного перехода
.
Частными случаями оценок минимального контраста являются, устойчивые (робастные) оценки Тьюки-Хубера (см. ниже), а также оценки параметров в задачах аппроксимации (параметрической регрессии) в пространствах произвольной природы. 
	Можно пойти и дальше в обобщении законов больших чисел. Пусть известно, что при каждом конкретном y при безграничном росте n имеет быть сходимость по вероятности
fn(, y)  f(y),
где fn(ω, y) – последовательность случайных функций на пространстве Y, а f(y) – некоторая функция на У. В каких случаях и в каком смысле имеет место сходимость
Argmin {fn(, y), yX}  Argmin {f(y), y X}? 
	Другими словами, когда из поточечной сходимости функций вытекает сходимость множеств, в которых эти функции достигают минимума? 
	Причем здесь можно под n понимать натуральное число. А можно рассматривать сходимость по направленному множеству (глава 14 настоящего учебника), или же, что практически то же самое – «сходимость по фильтру» в смысле Картана и Бурбаки. В частности, можно описывать ситуацию вектором, координаты которого - объемы нескольких выборок, и все они безгранично растут.  
	Поскольку основные задачи прикладной статистики можно представить в виде оптимизационных задач, то ответ на поставленный вопрос о сходимости точек минимума дает возможность единообразного подхода к изучению асимптотики решений разнообразных экстремальных статистических задач. Одна из возможных формулировок, основанная на бикомпактности пространств Х и У и нацеленная на изучение оценок минимального контраста, кратко рассмотрена выше. Другой подход, развитый в нашей работе [7], основан на использовании понятий асимптотической равномерной разбиваемости и координатной асимптотической равномерной разбиваемости пространств. С помощью указанных подходов удается стандартным образом обосновывать состоятельность оценок характеристик и параметров в основных задачах прикладной статистики. 
	Рассматриваемую тематику можно развивать дальше, в частности, рассматривать аналоги законов больших чисел в случае пространств, не являющихся бикомпактными, а также изучать скорость сходимости Argmin{fn(x(), y), yX} к Argmin{f(y), y X}. 
	Приведем примеры применения результатов о предельном поведении точек минимума.
	Задача аппроксимации зависимости (параметрической регрессии). Пусть X и Y – некоторые пространства. Пусть имеются статистические данные - n пар (xk, yk), где xk  X, yk  Y, k = 1, 2, …, n. Задано параметрическое пространство Θ произвольной природы и семейство функций g(x,θ): X×Θ → Y. 
	Требуется подобрать параметр θ  Θ так. чтобы g(xk ,θ) наилучшим образом приближали yk, k = 1, 2, …, n. 
	Пусть fk – последовательность показателей различия в У. При сделанных предположениях параметр θ естественно оценивать путем решения экстремальной задачи:
.		(3.18)
	Часто, но не всегда, все fk совпадают. В классической постановке, когда Х = Rk, У = R1, функции fk различны при неравноточных наблюдениях, например, когда число опытов меняется от одной точки х проведения опытов к другой. 
	Если fk(y1,y2) = f(y1,y2) = (y1- y2)2, то получаем общую постановку метода наименьших квадратов (см. подробности в главе 6):
.
	В рамках детерминированного анализа данных остается единственный теоретический вопрос – о существовании θn. Если все участвующие в формулировке задачи (3.18) функции непрерывны, а минимум берется по бикомпакту, то θn существует. Есть и иные условия существования θn [6, 7]. 
	При появлении нового наблюдения х в соответствии с методологией восстановления зависимости рекомендуется выбирать оценку соответствующего у по правилу
у* = g(x, θn).
Обосновать такую рекомендацию в рамках детерминированного анализа данных невозможно. Это можно сделать только в вероятностной теории, равно как и изучить асимптотическое поведение θn, в частности, доказать состоятельность этой оценки. 
	Как и в классическом случае, вероятностную теорию целесообразно строить для трех различных постановок. 
	1. Переменная х – детерминированная (например, время), переменная у – случайная, ее распределение зависит от х. 
	2. Совокупность (xk, yk), k = 1, 2, …, n, – выборка из распределения случайного элемента со значениями в Х×У.
	3. Имеется детерминированный набор пар (xk0, yk0), k = 1, 2, …, n, результат наблюдения (xk, yk) является случайным элементом, распределение которого зависит от (xk0, yk0). Это – постановка т.н. конфлюэнтного анализа.
	Во всех трех случаях 
,
однако случайность входит в правую часть по-разному в зависимости от постановки, от которой зависит и определение предельной функции f(θ). 
	Проще всего выглядит f(θ) в случае второй постановки при fk ≡ f:
f(θ) = Mf(g(x1,θ),y).
В случае первой постановки 

в предположении существования указанного предела. Ситуация усложняется для третьей постановки:
.
	Во всех трех случаях на основе общих результатов о поведении решений экстремальных статистических задач можно изучить [3, 6, 7] асимптотику оценок θn. При выполнении соответствующих внутриматематических условий регулярности оценки оказываются состоятельными, т.е. удается восстановить зависимость.
	Аппроксимация и регрессия. Соотношение (3.18) дает решение задачи аппроксимации. Поясним, как эта задача соотносится с нахождением регрессии. Согласно [6] для случайной величины (ξ, η) со значениями в Х×У регрессией η на ξ относительно меры близости f естественно назвать решение задачи 
Mf(g(ξ), η) → ,		(3.19)
где f: Y×Y → R1, g: X → Y, минимум берется по множеству всех измеримых функций {g}. 
	Можно исходить и из другого определения. Для каждого хХ рассмотрим случайную величину η(х), распределение которой является условным распределением η при условии ξ = х. В соответствии с определением математического ожидания в пространстве общей природы назовем условным математическим ожиданием решение экстремальной задачи
.
Оказывается, при обычных предположениях измеримости решение задачи (3.19) совпадает с . (Внутриматематические уточнения типа «равенство имеет место почти всюду» здесь опущены.) 
	Если заранее известно, что условное математическое ожидание  принадлежит некоторому параметрическому семейству g(x,θ), то задача нахождения регрессии сводится к оцениванию параметра θ в соответствии с рассмотренной выше второй постановкой вероятностной теории параметрической регрессии. Если же нет оснований считать, что регрессия принадлежит параметрическому семейству, то можно использовать непараметрические оценки регрессии. Они строятся с помощью непараметрических оценок плотности [3, 6]. Способы построения непараметрических оценок плотности рассмотрены в главе 2.
	Пусть ν1 – мера в Х, ν2 – мера в У, а их прямое произведение ν = ν1×ν2 – мера в Х×У. Пусть g(x,y) – плотность случайного элемента (ξ,η) по мере ν. 
	Тогда условная плотность g(y|x) распределения η при условии ξ = х имеет вид
		(3.20)
(в предположении, что интеграл в знаменателе отличен от 0). Следовательно,
,
а потому
.
	Заменяя g(x,y) в (3.20) непараметрической оценкой плотности gn(x,y), получаем оценку условной плотности
.		(3.21)
Если gn(x,y) – состоятельная оценка g(x,y), то числитель (3.21) сходится к числителю (3.20). Сходимость знаменателя (3.21) к знаменателю (3.20) обосновывается с помощью предельной теории статистик интегрального типа [3, 6]. В итоге получаем утверждение о состоятельности непараметрической оценки (3.21) условной плотности, заданной формулой (3.20). 
	Непараметрическая оценка регрессии ищется как
.
Состоятельность этой оценки следует из приведенных выше общих результатов об асимптотическом поведении решений экстремальных статистических задач. 
	Применение к методу главных компонент. Исходные данные – набор векторов ξ1, ξ2, … , ξn, лежащих в евклидовом пространстве Rk размерности k. Цель состоит в снижении размерности, т.е. в уменьшении числа рассматриваемых показателей. Для этого берут всевозможные линейные ортогональные нормированные центрированные комбинации исходных показателей, получают k новых показателей, из них берут первые m, где m < k (подробности см. в главе 6.5). 
	Матрицу преобразования С выбирают так, чтобы максимизировать информационный функционал
,		(3.22)
где x(i), i = 1, 2, … , k, - исходные показатели; исходные данные имеют вид ξj = (xj(1), xj(2), … , xj(k)), j = 1, 2, … , n; при этом z(α), α = 1, 2, … , m, - комбинации исходных показателей, полученные с помощью матрицы С. Наконец, s2(z(α)), α = 1, 2, … , m, s2(x(i)), i = 1, 2, … , k, - выборочные дисперсии переменных, указанных в скобках. 
	Укажем подробнее, как новые показатели (главные компоненты) z(α) строятся по исходным показателям x(i) с помощью матрицы С:
,
где
.
Матрица C = ||cαβ|| порядка m×k такова, что  
		(3.23)
(матрица С является нормированной),
		(3.24)
(матрица С является ортогональной).
	Решением основной задачи метода главных компонент является 
,
где минимизируемая функция определена формулой (3.22), а минимизация проводится по всем матрицам С, удовлетворяющим условиям (3.23) и (3.24).
	Вычисление матрицы Сn – задача детерминированного анализа данных. Однако, как и в иных случаях, например, для медианы Кемени, возникает вопрос об асимптотическом поведении Сn. Является ли решение основной задачи метода главных компонент устойчивым, т.е. существует ли предел Сn при n → ∞? Чему равен этот предел? 
	Ответ, как обычно, может быть дан только в вероятностной теории. Пусть ξ1, ξ2, … , ξn - независимые одинаково распределенные случайные вектора. Положим 
,
где матрица C = ||cαβ|| удовлетворяет условиям (3.22) и (3.23). Введем функцию от матрицы
.
Легко видеть, что при n → ∞ и любом С
.
Рассмотрим решение предельной экстремальной задачи
.
Естественно ожидать, что
.
Действительно, это соотношение вытекает из приведенных выше общих результатов об асимптотическом поведении решений экстремальных статистических задач. 
	Таким образом, теория, развитая для пространств произвольной природы, позволяет единообразным образом изучать конкретные процедуры прикладной статистики.

3.4. Робастность статистических процедур

	Термин «робастность» (robustness - англ.) образован от robust - крепкий, грубый (англ.). Сравните с названием одного из сортов кофе - robusta. Имеется в виду, что робастные статистические процедуры должны «выдерживать» ошибки, которые теми или иными способами могут попадать в исходные данные или искажать предпосылки используемых вероятностно-статистических моделей. 
	Термин «робастный» стал популярным в нашей стране в 1970-е гг. Сначала он использовался фактически как сужение термина «устойчивый» на алгоритмы статистического анализа данных классического типа (не включая теорию измерений, статистику нечисловых и интервальных данных). Затем реальная сфера его применения сузилась. 
	Пусть исходные данные - это выборка, т.е. совокупность независимых одинаково распределенных случайных величин с одной и той же функцией распределения F(x). Наиболее простая модель изучения устойчивости - это модель засорения
		(3.25)
	Эта модель называется также моделью Тьюки - Хубера. (Джон Тьюки - американский исследователь, П. Хубер, или Хьюбер - швейцарский ученый.) Модель (3.25) показывает, что с близкой к 1 вероятностью, а именно, с вероятностью  наблюдения берутся из совокупности с функцией распределения  которая предполагается обладающей «хорошими» свойствами. Например, она имеет известный статистику вид (хотя бы с точностью до параметров), у нее существуют все моменты, и т.д. Но с малой вероятностью  появляются наблюдения из совокупности с «плохим» распределением (например, взятые из распределения Коши, не имеющего математического ожидания), резко выделяющиеся аномальные наблюдения, выбросы. 
	Актуальность модели (3.25) не вызывает сомнений. Наличие засорений (выбросов) может сильно исказить результаты эконометрического анализа данных. Например, пусть функция распределения элементов выборки имеет вид (3.25). Причем первое слагаемое соответствует случайной величине с конечным математическим ожиданием, а второе - такой случайной величине, для которой математического ожидания не существует. Тогда для итоговой функции распределения также не существует математического ожидания. Исследователя обычно интересуют характеристики первого слагаемого, но найти их, т.е. освободиться от влияния засорения, не так-то просто. Например, среднее арифметическое результатов наблюдений не будет иметь никакого предела (это - строгое математическое утверждение, вытекающее из того, что математическое ожидание не существует [3]).
	Существуют различные способы борьбы с засорением. Эмпирическое правило найдено в фигурном катании: при подведении итогов работы команды судей наибольшая и наименьшая оценки отбрасываются, а по остальным рассчитывается средняя арифметическая. Ясно, что единичное «засорение» окажется среди отброшенных оценок. 
	Оценивать характеристики и параметры, проверять статистические гипотезы, вообще осуществлять статистический анализ данных все чаще рекомендуют на основе эмпирических квантилей (другими словами, порядковых статистик, членов вариационного ряда), отделенных от концов вариационного ряда. Речь идет об использовании статистик вида
,
где a, b, c, d, e – заданные числа, x(0,1n), x(0,3n), x(0,5n), x(0,7n), x(0,9n) – члены вариационного ряда с номерами, наиболее близкими к числам, указанным в скобках. Так ценой небольшой потери в эффективности оценок избавляемся от влияния засоренности типа описанной в модели (3.25).
	Вариантом этого подхода является переход к сгруппированным данным. Отрезок прямой, содержащий основную часть наблюдений, разбивается на интервалы, и вместо количественных значений статистик подсчитывает лишь, сколько наблюдений попало в те или иные интервалы. Особое значение приобретают крайние интервалы - к ним относят все наблюдения, которые больше некоторого верхнего порога и меньше некоторого нижнего порога. Любым методам анализа сгруппированных данных резко выделяющиеся наблюдения не страшны.
	Можно поставить под сомнение и саму опасность засорения. Дело в том, что практически все реально наблюдающиеся величины ограничены. Все они лежат на каком-то интервале - от и до. Это совершенно ясно, если речь идет о физическом измерении - все результаты измерений укладывается в шкалу прибора. По-видимому, и для иных статистических измерений наибольшие сложности создают не сверхбольшие помехи, а те засорения, что находятся «на грани» между «интуитивно возможными значениями» и «интуитивно невозможными». 
Что же это означает для практики статистического анализа данных? Если элементы выборки по абсолютной величине не превосходят числа А, то все возможные засорения могут сдвинуть среднее арифметическое на величину не более  Если засорение невелико, то и сдвиг мал. 
Построена достаточно обширная и развитая теория, посвященная разработке и изучению методов анализа данных в модели (3.25). С ней можно познакомиться по многочисленным публикациям. К сожалению, в теории обычно предполагается известной степень засорения , а на практике эта величина неизвестна. Кроме того, теория обычно направлена на защиту от воздействий, якобы угрожающих из бесконечности (например, отсутствием математического ожидания), а на самом деле реальные данные финитны (сосредоточены на конечных отрезках). Все это объясняет, почему теория робастности, исходящая из модели (3.25), популярна среди теоретиков, но мало интересна тем, кто анализирует реальные технические, экономические, медицинские и иные статистические данные. 
Рассмотрим несколько более сложную модель. Пусть наблюдаются реализации  независимых случайных величин с функциями распределения  соответственно. Эта модель соответствует гипотезе о том, что в процессе наблюдения (измерения) условия несколько менялись. 
	Естественной представляется модель малых отклонений функций распределений наблюдаемых случайных величин от некоторой «базовой» функции распределения . Множество возможных значений функций распределений наблюдаемых случайных величин (т.е. совокупность допустимых отклонений согласно общей схеме устойчивости, рассмотренной в главе 14) описывается следующим образом: 

	Следующий тип моделей - это введение малой (т.е. слабой) зависимости между рассматриваемыми случайными величинами. Ограничения на взаимную зависимость можно задать разными способами. Пусть  - совместная функция распределения n-мерного случайного вектора, F1(x1), F2(x2), … , Fn(xn) – функции распределения его координат. Если все координаты независимы, то  = F1(x1)F2(x2)…Fn(xn). Пусть коэффициент корреляции между i-ой и j-ой случайными величинами – координатами вектора. Множество возможных совместных функций распределения (т.е. совокупность допустимых отклонений от ситуации независимости координат согласно общей схеме устойчивости, рассмотренной в главе 14) описывается следующим образом:

Таким образом, фиксируются функции распределения координат, а коэффициенты корреляции предполагаются малыми (по абсолютной величине).
	Есть еще целый ряд постановок задач робастности. Если накладывать погрешности непосредственно на результаты наблюдений (измерений) и предполагать лишь, что эти погрешности не превосходят (по абсолютной величине) заданных величин, то получаем постановки задач статистики интервальных данных [3, 6]. При этом каждый результат наблюдения превращается в интервал - исходное значение плюс-минус максимально возможная погрешность. 
	Разработано много вариантов робастных методов анализа статистических данных. Иногда говорят, что робастные методы позволяют использовать информацию о том, что реальные наблюдения лежат «около» тех или иных параметрических семейств, например, нормальных. В этом, дескать, их преимущество по сравнению с непараметрическими методами, которые предназначены для анализа данных, распределенных согласно произвольной непрерывной функции распределения. Однако количественных подтверждений этих уверений энтузиастам робастных методов обычно не удается найти. В основном потому, что термин «около» трудно формализовать.
	На примере сравнения различных подходов к изучению робастности статистических процедур оценивания и проверки гипотез видны сложности, связанные с изучением устойчивости. Дело в том, что для каждой конкретной статистической задачи можно самыми разными способами задать совокупность допустимых отклонений. Так, выше кратко рассмотрены четыре такие совокупности, соответствующие
	1) модели засорения Тьюки – Хубера; 
	2) модели малых отклонений функций распределения; 
	3) модели слабых связей; 
	4) модели интервальных данных. 
	В каждой из этих моделей общая схема устойчивости (глава 14 настоящего учебника) предлагает для решения целый спектр задач устойчивости. Кроме изучения свойств робастности известных статистических процедур можно в каждой из постановок находить оптимальные процедуры. Однако практическая ценность этих оптимальных процедур, как правило, невелика, поскольку в других постановках оптимальными будут уже другие процедуры. 

3.5. Оценивание для сгруппированных данных 

	При вычислении различных статистических характеристик часто пользуются сгруппированными данными. Мы рассматриваем погрешность группировки как один из видов погрешностей наблюдений. До появления мощных компьютеров группировку проводили для облегчения расчетов. К сожалению, устаревшие рекомендации по обязательному проведению группировки укоренились в курсах по «общей теории статистики». В отмененном из-за низкого научного уровня ГОСТ 11.006-74 (СТ СЭВ 1190-78) «Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим» группировку предписывалось проводить даже при проверке согласия с помощью критериев Колмогорова и омега-квадрат, что приводит к прямым ошибкам. 
	В современных условиях нет необходимости сокращать число арифметических операций при анализе статистических данных. Вместо гистограмм для описания распределения в настоящее время рекомендуют использовать непараметрические оценки плотности. Однако с существующей традицией приходится считаться, для борьбы с ней надо знать влияние группировки данных на статистические характеристики.
	Другая причина использования сгруппированных данных – неточность измерений, приводящих либо к автоматическому (с помощью средств измерения) округлению, либо к округлению, проводимому специалистом, осуществляющим измерение.  
	В настоящем разделе рассмотрим статистические методы анализа сгруппированных данных. Начнем с одномерных данных. 
	Вероятностная модель группировки. Пусть выборка объема n взята из распределения числовой случайной величины Х с плотностью вероятности f(x). Пусть элементы выборки сгруппированы по интервалам длины h, центры которых находятся в точках ai = a0 + ih, где i = 0, +1, +2, … (Поскольку вероятность попадания в точку соприкосновения интервалов равна 0, то нет необходимости указывать, к какому из интервалов относятся такие точки.) В таких случаях при вычислении моментов и других выборочных характеристик по сгруппированным данным обычно предполагается, что все выборочные значения, принадлежащие некоторому интервалу, совпадают с центром этого интервала. Тогда фактически рассматривается выборка из дискретного распределения, в соответствии с которым случайная величина Y принимает значения ai = a0 + ih с вероятностями 
.
	Пользуясь сгруппированными данными, оценивают те или иные выборочные характеристики, например, моменты 
.
	Во многих случаях исследователя интересуют не эти «групповые» моменты, а моменты исходной непрерывно случайной величины Х:
.
Поэтому важно изучить соотношения между этими двумя множествами моментов. Оказывается, при некоторых внутриматематических условиях регулярности приближенные значения моментов M(Xk) можно получить, прибавляя некоторые поправки к «групповым» моментам M(Yk).
	Групповые моменты запишем в виде

где 

	Для решения поставленной задачи полезной оказывается формула Эйлера-Маклорена. В настоящем разделе нам понадобится также ее обобщение, полученное в [8].
	Обобщение формулы Эйлера-Маклорена. В различных статистических методах анализа данных используются дискретные распределения. Возникает необходимость вычисления сумм следующего вида:
,
где g(x) – достаточно гладкая функция. 
	Другими словами, требуется просуммировать значения функции g(x) в n точках, отстоящих друг от друга на расстояние h, начиная с точки a. Типичным примером является суммирование биномиальных вероятностей с целью вычисления попадания биномиально распределенной случайной величины в заданный интервал. 
	Классическая формула Эйлера-Маклорена такова [9, п.465]:

Здесь Rm – остаточный член порядка hm, выражение для которого приведено в [9, с.540], 
,
где Bp есть p-е число Бернулли [9, п.449]. В частности,
.
	Очевидным недостатком классической формулы Эйлера-Маклорена является ее несимметричность – левый конец отрезка [a, a+nh], по которому проводится интегрирование, входит в число точек, значения функции в которых суммируется, а правый – нет. Этот недостаток связан с тем, что каждому слагаемому в рассматриваемой сумме ставится в соответствие отрезок длины h, значение функции g(x) в левом конце которого и есть рассматриваемое слагаемое. В результате нет симметричности – формула меняется при изменении направления оси х-ов.
	Чтобы избавиться от несимметричности, достаточно слагаемому g(x0) (где x0 = a + (i – 1)h при некотором i) поставить в соответствие отрезок . Опишем подход к получению асимптотических разложений, впервые предложенный в статье [8] в связи с изучением скорости сходимости распределения классической статистики омега-квадрат (Крамера-Мизеса-Смирнова) к предельному распределению. Будем исходить из формулы Тейлора с дополнительным членом в виде определенного интеграла [9, п.318]:
.
Проинтегрируем почленно обе части этого равенства по x по отрезку отрезок . Получим, что

(при четном m). Весьма важно, что обращаются в 0 все интегралы, соответствующие нечетным степеням. 
	Из только что полученного соотношения следует, что
,
где Qm – остаточный член, указанный в предыдущей формуле.
	Применим аналогичную процедуру ко второй производной - функции g’’(x). Исходим из формулы Тейлора

Интегрируя, получаем, что 
,
откуда 
	Подставляя в формулу для g(x0)h, получаем, что

	Дальше можно провести аналогичные выкладки для четвертой производной, и т.д. С помощью продемонстрированного подхода можно получить, например, следующий результат:
,
где 

	Таким образом, справедливо следующее соотношение, напоминающее классическую формулу Эйлера-Маклорена:
	Сравнение с классической формулой Эйлера-Маклорена показывает, что в последней формуле отсутствует первый член асимптотического разложения, соответствующий , а коэффициенты при остальных членах меньше по абсолютной величине:

Полученная формула симметрична – не меняется при изменении направлении оси x-ов. 
	Из сказанного вытекает рекомендация: вместо классической формулы Эйлера-Маклорена употреблять полученную нами в статье [8] формулу, в которой каждому входящему в сумму значению аргумента ставится в соответствие отрезок, для которого это значение является центром. 
	Полученная формула позволила построить компактные таблицы для специальных функций, используемых при оценивании параметров гамма-распределения, и вывести формулы для использования вне таблиц, что оказалось весьма полезным при разработке государственного стандарта ГОСТ 11.011-83 [1]. Многомерный аналог полученной формулы, в котором каждой точке целочисленной решетки ставился в соответствие прямоугольный параллелепипед, для которого эта точка являлась центром, позволил разработать оригинальный метод оценивания скорости сходимости распределений непараметрических статистик типа Колмогорова, Смирнова и омега-квадрат [8]. 
	Поправки Шеппарда. С помощью формулы Эйлера-Маклорена групповые моменты M(Yk) могут быть выражены линейными функциями от «истинных» моментов M(Xk) (в предположении, что остаточным членом можно пренебречь). Решая последовательно уравнения относительно «истинных» моментов M(Xk), получаем:

	Таким образом, получены поправки к результатам расчетов по сгруппированным данным, позволяющие более точно оценить моменты исходного распределения. Эти поправки впервые выведены В.Ф. Шеппардом в 1898 г. и поэтому называются в статистической литературе «поправками Шеппарда». Общая формула имеет вид:
,
где Bj – числа Бернулли [9, п.449].
	Хотя поправки Шеппарда получены еще в XIX веке, статистическая теория обработки сгруппированных данных продолжает развиваться. В данном разделе рассмотрена непараметрическая многомерная постановка, в которой границы группировки задаются статистиком. Параметрическую теорию развивал Г. Куллдорф. Модель группировки со случайным сдвигом начала координат изучал Н.А. Бодин. 
	Многомерная группировка. Дадим описание группировки данных в случае m-мерного случайного вектора Z = (Z1, Z2, …, Zm) с плотностью распределения p(x1, x2, …, xm). Пусть выборочные значения координаты Zi группируются по интервалам длины hi со средними точками (центрами) ai,k = ai + khi, k = 0, +1, +2, … Вектор h = (h1, h2, …, hm) назовем шагом группировки. При вычислении выборочных характеристик предполагается, что все выборочные значения вектора Z, координаты которого удовлетворяют неравенствам

совпадают с центром (a1,k(1), a2,k(2), …, am,k(m)) данного m-мерного прямоугольного параллелепипеда, т.е. фактически мы обрабатываем выборочные значения дискретного m-мерного вектора W = (W1, W2, …, Wm) с распределением  
,
где
.
	Представляется естественным разложить разность между характеристиками вектора W и характеристиками вектора Z по степеням координат шага группировки и оценить возникающий при этом остаточный член. Таким образом, мы хотим получить обобщение поправок Шеппарда для моментов.
	Будем рассматривать характеристики вида Mf(Z), где f – достаточно гладкая функция.
	Поправки на группировку для коэффициента корреляции. В качестве примера рассмотрим коэффициент корреляции  (точнее, линейный парный коэффициент корреляции Пирсона – см. раздел 6.1). Для удовлетворяющей некоторым условиям регулярности [3] плотности p(x1, x2) справедливы соотношения

при достаточно малых h1 и h2 с точностью до членов более высокого порядка по h1 и h2. Из приведенных соотношений и определения коэффициента корреляции  с помощью элементарных преобразований получаем, что 

с той же точностью. Поскольку при малых y
,
то при достаточно малых h1 и h2 с точностью до членов более высокого порядка 

Из последней формулы вытекает, что

с той же точностью. Воспользовавшись приведенными выше соотношениями для вторых моментов координат двумерного вектора, получаем окончательную формулу
,
в которой поправка на группировку определяется только по сгруппированным данным.
	Полученная поправка на группировку для коэффициента корреляции рекомендуется для использования в практических вычислениях. Отметим, что группировка приводит к уменьшению коэффициента корреляции (по абсолютной величине): 
.
	Поправка на группировку для коэффициента корреляции получена в порядке полемики с публикацией, в которой без какого-либо основания утверждалось, что при группировке коэффициент корреляции увеличивается.
	Асимптотические поправки на группировку. Перейдем к общему случаю. Будем использовать следующий многомерный аналог классической формулы Эйлера-Маклорена: 

где Zm – множество точек с целыми координатами m-мерного пространства Rm, функция  абсолютно интегрируема, C(t,m) – совокупность всех подмножеств мощности t множества {1,2,…,m} и 

	Справедлив следующий многомерный аналог приведенного ранее обобщения одномерной классической формулы Эйлера-Маклорена:

(в этой формуле x = (x1, x2, …, xm), соответственно, dx = dx1dx2…dxm, используются введенные ранее обозначения). Описан закон получения членов разложения и указана оценка остаточного члена [10]. Однако в общем случае они весьма громоздки, поэтому ограничимся несколькими доведенными до числа примерами.
	Пусть m = 2, вектор (Z1, Z2) имеет нормальное распределение. Тогда

.
На основе описанных выше общих результатов можно получить точные формулы и оценки остаточных членов в этих формулах. Оказывается, остаточные члены R(M(Zj)) и R(D(Zj)), j = 1, 2, весьма малы даже при достаточно большом шаге группировки. Так,

и |R(M(Zj))| не превосходит  при hj  и не превосходит  при hj , где , а aj –начало отсчета по j-й координате, j = 1,2.
	Полученные оценки зависят от M(Zj) – aj. Так, при aj - M(Zj) = hj/4 относительная погрешность определения истинной дисперсии по сгруппированной с использованием поправок Шеппарда, т.е. 
,
не превосходит 6,8×10-2 при hj , меньше 0,25×10-2 при hj  и 6,8×10-11 при hj . 
	Таким образом (это подтверждается равномерной оценкой остаточного члена), при шаге группировки, равном среднеквадратическому отклонению, формула

становится практически точной.
	Иным оказывается положение при расчете по сгруппированным данным коэффициента ковариации. При малых и средних значениях коэффициент корреляции  (при ) относительная погрешность невелика даже при довольно большом шаге группировки (так,  при  и ). При больших коэффициентах корреляции, если ставится цель добиться достаточно хорошего приближения, шаг группировки необходимо уменьшать, поскольку при  основной член в оценке относительной погрешности таков: 
.
	В фундаментальных и прикладных научных исследованиях часто оказывается необходимым использовать коэффициент корреляции  в случае произвольного распределения случайного вектора при естественном и обычно выполняющемся условии существования достаточного числа моментов и гладкости плотности вероятности. На основе описанного выше общего подхода получена следующая приближенная формула для выражения истинного коэффициента корреляции  через «сгруппированный» коэффициент корреляции  и «сгруппированные» дисперсии D(W1) и D(W2):

Эта формула уточняет ранее приведенную формулу, полученную элементарными средствами. Оценена относительная погрешность определения коэффициента корреляции:
,
где RD – максимум относительных погрешностей в определении истинных дисперсий D(Z1) и D(Z2) через «сгруппированные» дисперсии D(W1) и D(W2) с использованием поправок Шеппарда, R – абсолютная погрешность при определении истинного коэффициента ковариации через «сгруппированный» (см. выше).
	Теория статистического анализа сгруппированных данных в настоящее время недостаточно развита и систематизирована, тем не менее принципиальных трудностей на пути расчета поправок на группировку нет. Во многих случаях шаг группировки порядка среднего квадратического отклонения исходных случайных величин дает с учетом поправок вполне приемлемую точность. По сравнению с другими видами погрешностей, в частности, рассматриваемыми в статистике интервальных данных ([3, 6]), группировка сравнительно слабо влияет на свойства статистических процедур. 

Литература

1. ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения / Орлов А.И., Миронова Н.Г., Невельсон М.Б. и др. - М.: Изд-во стандартов, 1984. - 53 с. - Переиздание: М.: Изд-во стандартов, 1985. - 50 с. (3,5 п.л.).
2. Орлов А.И. Устойчивость в социально-экономических моделях. – М.: Наука, 1979. – 296 с.
3. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
4. Боровков А.А. Математическая статистика. Учебное пособие для вузов. – М.: Наука, 1984. – 472 с.
5. Петрович М.Л., Давидович М.И. Статистическое оценивание и проверка гипотез на ЭВМ. – М.: Финансы и статистика, 1989. – 191 с.
6. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
7. Орлов А.И. Асимптотика решений экстремальных статистических задач // Анализ нечисловых данных в системных исследованиях. / Сборник трудов. Вып.10. - М.: Всесоюзный научно-исследовательский институт системных исследований, 1982. - С. 4-12.
8. Орлов А.И. Скорость сходимости распределения статистики Мизеса-Смирнова // Теория вероятностей и ее применения. - 1974. - Т.19. - №4. - С.766-786.
9. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т.2. – М.: Наука, 1966. – 800 с.
10. Орлов А.И., Орловский И.В. О поправках на группировку // Прикладной многомерный статистический анализ. – М.: Наука, 1978. – С.339-342.

Контрольные вопросы и задачи

1. Чем задачи оценивания параметров распределения отличаются от задач оценивания характеристик распределения?
2. С помощью метода линеаризации обоснуйте вид асимптотических дисперсий оценок метода моментов для параметров гамма-распределения (табл. 3.3 раздела 3.1).
3. Почему одношаговые оценки предпочтительнее оценок максимального правдоподобия?
4. Как связаны законы больших чисел в пространствах произвольной природы и утверждения об асимптотическом поведении решений экстремальных статистических задач?
5. Как соотносятся параметрическая регрессия и непараметрическая регрессия?
6. Сопоставьте различные постановки задач изучения робастности статистических процедур. 
7. В чем основная идея поправок Шеппарда?

Темы докладов, рефератов, исследовательских работ

1. Квантильные оценки.
2. Минимизация расстояния как способ построения оценок параметров.
3. Одношаговые оценки параметров распределения Вейбулла-Гнеденко. 
4. Оптимизационные постановки основных задач прикладной статистики.
5. Роль функции влияния при изучении робастности в модели засорения Тьюки – Хубера.
6. На основе четырех описанных в разделе 3.4 моделей с помощью общей схемы устойчивости (глава 14 настоящего учебника) опишите спектр возможных постановок задач устойчивости статистических процедур.
7. Различные подходы к анализу сгруппированных данных.

Глава 4. Проверка гипотез

4.1. Метод моментов проверки гипотез

	К методу моментов относят все статистические процедуры, основанные на использовании выборочных моментов и функций от них. Метод моментов оценивания параметров распределения рассмотрен в главе 3. В непараметрической статистике на основе выборочных моментов проводится точечное и интервальное оценивание характеристик распределения, таких, как математическое ожидание, дисперсия, среднее квадратическое отклонение, коэффициент вариации (глава 5.1). Для проверки гипотез в непараметрической статистике также используется метод моментов. Примером является критерий Крамера-Уэлча, предназначенный для проверки равенства математических ожиданий по двум независимым выборкам (глава 5.1).
	В практике применения статистических методов (согласно классическим схемам) довольно часто возникает необходимость проверки гипотезы о том, что функция распределения результатов наблюдений Х1, Х2, … , Хn принадлежит параметрическому семейству распределений {F(x, θ), θΘ}, где ΘRk. Как проверять эту гипотезу? 
	Давно разработан универсальный метод – критерий минимума хи-квадрат. Однако у него имеется существенный недостаток – необходимость группирования наблюдений, что приводит к потере информации. Как хорошо известно, это приводит к существенному снижению мощности критерия минимума хи-квадрат по сравнению с критериями типа Колмогорова и типа омега-квадрат. Кроме того, нахождение минимума статистики хи-квадрат – достаточно сложная вычислительная процедура. Поэтому иногда вместо оценок, получаемых при указанной оптимизации, подставляют оценки максимального правдоподобия или какие-либо еще. Такая замена приводит к тому, что распределение рассматриваемой статистики существенно отличается от классического, причем различие не исчезает при росте объема выборки. Предложенная член-корр. АН СССР Л.Н. Большевым и проф. М.С. Никулиным [2] модификация критерия минимума хи-квадрат не снимает недостатков, связанных с группированием и необходимостью существенной вычислительной работы. 
	Общий подход, основанный на дистанционном методе, предложен Дж. Вольфовицем (США) в 1950-х гг. Согласно этому методу, следует основываться на том или ином расстоянии между эмпирической функцией распределения и параметрическим семейством распределений (как многообразием в пространстве всех функций распределения). Конкретная реализация этого подхода приводит к критериям типа Колмогорова и типа омега-квадрат. Однако для каждого конкретного параметрического семейства приходится разрабатывать самостоятельную теорию и рассчитывать только ему соответствующие предельные и точные распределения. Предельные распределения найдены лишь для нескольких семейств, а о точных почти ничего не известно. До сих пор часто делают ошибку, применяя для произвольных семейств предельные распределения, найденные для проверки согласия с фиксированным распределением (см. подробности в главе 2.4). 
	Критерии минимума хи-квадрат и аналогичные им не являются состоятельными, поскольку вероятности попадания в области группирования не задают однозначно функцию распределения. С этим недостатком можно бороться, увеличивая число интервалов группирования вместе с ростом объема выборки, однако на этом пути еще не выработаны рекомендации, пригодные для широкого практического использования. Критерии типа Колмогорова и типа омега-квадрат – состоятельные, т.е. любую альтернативную функцию распределения, не входящую в рассматриваемое параметрическое семейство, они отвергают с вероятностью, стремящейся к 1 при росте объема выборки.
	Для конкретности обсудим проверку согласие результатов наблюдений с трехпараметрическим семейством гамма-распределений с плотностями 
   	(4.1)
Здесь a > 2 - параметр формы, b > 0 - параметр масштаба и с - параметр сдвига, Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция». Критерий минимума хи-квадрат имеет указанные выше недостатки. Критерии типа Колмогорова и типа омега-квадрат для этого случая не разработаны. 
	В подобных ситуациях целесообразно строить критерии согласия на основе функций от выборочных моментов, т.е. пользоваться методом моментов. Для оценивания параметров метод моментов хорошо известен и обычно рассматривается в учебной литературе по теории вероятностей и математической статистике. Реализацией метода моментов для проверки нормальности являются известные критерии асимметрии и эксцесса [3].
	Пример 1. Если случайная величина Х имеет нормальное распределение с математическим ожиданием а и дисперсией σ2, то, как известно [3], 
,
где δ – нормированное среднее абсолютное отклонение, γ1 – коэффициент асимметрии и (β1 – 3) – коэффициент эксцесса. 
	Таким образом, если выборочные оценки указанных моментных отношений существенно отличаются от соответствующих теоретических значений, то следует признать, что распределение результатов наблюдений отлично от нормального. Так как указанные выше значения моментных отношений могут приниматься и для распределений, отличных от нормальных, то близость выборочных значений к только что выписанным не обязательно свидетельствует о нормальности распределения результатов наблюдений. Критерии, полученные методом моментов, служат не столько для проверки нормальности, сколько для выявления отклонений распределения от нормального, или, точнее, для проверки гипотез δ ≠ , γ1 ≠ 0, β1 ≠ 3. Рассматриваемые критерии построены на основе выборочных моментных отношений:
.
	Здесь, как обычно,  - выборочное среднее арифметическое и s2 – выборочная дисперсия, соответственно, s – выборочное среднее квадратическое отклонение. Как вытекает из результатов главы 14 настоящего учебника, все три статистики являются асимптотически нормальными. Выражения для параметров их асимптотических распределений приведены в [3]. Процентные точки распределений рассматриваемых выборочных моментных отношений при конечных объемах выборки найдены в предположении нормальности результатов наблюдений [3].
	Как и критерии минимума хи-квадрат, критерии метода моментов не являются состоятельными. Однако они, как и в случае критериев асимметрии и эксцесса, позволяют в ряде случаев отвергнуть гипотезу согласия. Использование несостоятельных критериев часто встречается в прикладной статистике. Отметим, например, что применение критерия Вилкоксона для проверки гипотезы однородности двух выборок широко распространено, хотя против общей альтернативы он является несостоятельным (см. главу 5.3). 
	Критерии метода моментов основаны на использовании функций от выборочных моментов, имеющих асимптотически нормальные распределения, параметры которых легко могут быть вычислены по методике, описанной в главе 14. Метод моментов по сравнению с другими методами проверки согласия требует существенно меньше вычислений (число операций пропорционально объему выборки). Поэтому он может быть рекомендован для использования при проверке согласия с семействами распределений, для которых не разработаны более совершенные методы, а также в качестве быстрого (экспрессного) метода. Что же касается хорошо изученных семейств, например, нормального, то основанные на использовании моментов критерии асимметрии и эксцесса применять для проверки нормальности нецелесообразно. Судя по специальным исследованиям, следует рекомендовать критерий W Шапиро - Уилка. 
	Продемонстрируем применение метода моментов на примере проверки гипотезы согласия с двухпараметрическим семейством гамма-распределений без сдвига, т.е. выделяемого из семейства (4.1) условием с = 0. Поскольку для трехпараметрического семейства гамма-распределений (4.1)
М(Х) =ab + c,  D(X) = ab2, μ3 = M(X – M(X))3 = 2ab3,
то при справедливости гипотезы Н0: с = 0 выполнено соотношение
.		(4.2)
	Для специалистов по техническим наукам большое значение имеет альтернативная гипотеза
H1: c > 0.
В частности, она связана с дискуссией о выборе нормируемых показателей надежности технических устройств. Альтернативная гипотеза соответствует предположению, что в течение некоторого времени (до момента c > 0) отказы невозможны, а нулевая – с отрицанием этого предположения и признанием того, что отказы возможны в любой момент.
	При справедливости альтернативной гипотезы 
,
поэтому для проверки гипотезы согласия в рассматриваемой постановке целесообразно использовать критерий со статистикой
.
	С помощью описанной в главе 14 методики вычисления предельного распределения функции от выборочных моментов можно установить, что при n → ∞ распределение статистики  сходится к нормальному, причем при справедливости нулевой гипотезы, т.е. соотношения (4.2), асимптотическое распределение имеет нулевое математическое ожидание и дисперсию
.		(4.3)
	Поскольку параметр формы а неизвестен статистику, необходимо в выражении (4.3) заменить а на его состоятельную оценку, например, на оценку метода моментов (см. главу 3.1)
.
	Рассмотрим критерий с критической областью вида
,		(4.4)
где u(1 - α) – квантиль порядка 1 - α стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. При n→∞ уровень значимости этого критерия стремится к α.
	Если альтернативная гипотеза является двусторонней, т.е. , то аналогично строится двусторонняя критическая область. 
	Критерий (4.4) состоятелен против альтернативы H1: c > 0, а также против непараметрической альтернативы 
,
в которой не предполагается, что функция распределения элементов выборки имеет гамма-распределение (4.1) с какими-либо конкретными значениями параметров, но не является состоятельным против общей альтернативы. 
	Пример 2. Применим критерий (4.4) для проверки согласия с гамма-распределением при с = 0, т.е. с двухпараметрическим семейством, данных о наработке n = 50 резцов до предельного состояния (в часах), приведенных в табл. 3.2 раздела 3.1. 
	Для рассматриваемых данных  = 57,88, s2 = 663,00, выборочный третий центральный момент m3 = 14927,91, откуда Z = - 0,01719. При этом a* = 5,05, и потому
.
	Следовательно, гипотеза согласия рассматриваемых данных с двухпараметрическим гамма-распределением не отвергается на любом из обычно используемых уровней значимости, как для односторонней критической области, так и для двухсторонней.

4.2. Неустойчивость параметрических методов 
отбраковки выбросов

При обработке реальных технических, экономических, медицинских и иных данных, полученных в процессе наблюдений, измерений, расчетов, иногда один или несколько результатов наблюдений резко выделяются, т.е. далеко отстоят от основной массы данных. Такие резко выделяющиеся результаты наблюдений часто считают содержащими грубые погрешности, соответственно называют промахами или выбросами. В рассматриваемых случаях возникает естественная мысль, что подобные наблюдения не относятся к изучаемой совокупности, поскольку содержат грубую погрешность, а получены они в результате ошибки, промаха. В справочнике по метрологии об этом явлении говорится так: «Грубые погрешности и промахи возникают из-за ошибок или неправильных действий оператора (его психофизиологического состояния, неверного отсчета, ошибок в записях или вычислениях, неправильного включения приборов и т.п.). А также при резких кратковременных изменениях условий проведения измерений (в результате вибрации, поступления холодного воздуха, толчка прибора оператором и т.п.). Если грубые погрешности и промахи обнаруживают в процессе измерений, то результаты, содержащие их, отбрасывают. Однако чаще всего их выявляют только при окончательной обработке результатов измерений с помощью специальных критериев оценки грубых погрешностей» [4, с.46-47].
Есть два подхода к обработке данных, которые могут быть искажены грубыми погрешностями и промахами:
1) отбраковка резко выделяющихся результатов наблюдений, т.е. обнаружение наблюдений, искаженных грубыми погрешностями и промахами, и исключение их из дальнейшей статистической обработки;
2) применение устойчивых (робастных) методов обработки данных, на результаты работы которых мало влияет наличие небольшого числа грубо искаженных наблюдений (см. подраздел 3.4).
Обсудим методы отбраковки. Наиболее изучена ситуация, когда результаты наблюдений - числа x1, x2,…, xn, среди них резко выделяется один результат наблюдения, для определенности, максимальный xmax.
	Простейшая вероятностно-статистическая модель такова [3]. При нулевой гипотезе H0 результаты наблюдения x1, x2,…, xn рассматриваются как реализация независимых одинаково распределенных случайных величин числа X1, X2,…, Xn с функцией распределения F(x). При альтернативной гипотезе H1 случайные величины X1, X2,…, Xn также независимы, X1, X2,…, Xn-1 имеют распределение F(x), а Xn - распределение G(x), оно «существенно сдвинуто вправо» относительно F(x), например, G(x)=F(x - A), где A достаточно велико. Если альтернативная гипотеза справедлива, то при  вероятность равенства

стремится к 1, поэтому естественно применять решающее правило следующего вида:
	если xmax.> d, то принять H1,
	если xmax.< d, то принять H0 ,                        (4.5)
где d - параметр решающего правила, который следует определять из вероятностно-статистических соображений.
	При справедливости нулевой гипотезы

Статистический критерий проверки гипотезы H0 , основанный на решающем правиле вида (4.5), имеет уровень значимости , если

т.е.
	(4.6)
Из соотношения (4.6) определяют граничное значение d = d(, n) в решающем правиле (4.5).
	При больших n и малых  согласно известным результатам математического анализа
	(4.7)
поэтому в качестве хорошего приближения к d(, n) рассматривают (1-/n) - квантиль распределения F(x).
	Пусть правило отбраковки задано в соответствии с соотношениями (4.5) и (4.6) с некоторой функцией распределения F, однако выборка берется из функции распределения G, мало отличающейся от F в смысле расстояния Колмогорова: 
	(4.8)
	С помощью соотношения (4.7) получаем, что величина = G(d) для d из уравнения (4.6) находится между  и . Таким образом, уровень значимости критерия, построенного для F, при применении к наблюдениям из G есть 1- и может принимать любые значения в отрезке [1-; 1-]. 
	В частности, при  = 0,01,  = 0,05, n = 5 возможные значения уровня значимости заполняют отрезок [0; 0,1], т.е. уровень значимости может быть в 2 раза выше номинального. А если n возрастает до 30, то максимальный уровень значимости есть 0,297, т.е. почти в 6 раз выше номинального. При дальнейшем росте n верхняя граница для уровня значимости, как нетрудно видеть, приближается к 1.
	Рассмотрим и другой вопрос - насколько правило отбраковки с уровнем значимости  для G может отличаться от такового для F при справедливости неравенства (4.8). С использованием соотношения (4.7) заключаем, что из
		(4.9)
следует, что  где  и  выписаны выше. Решение уравнения (4.9) может принимать любое значение в отрезке []. В частности, при =0,05 и n = 5 для стандартного нормального распределения F имеем d(, n) = 2,319, при  = 0,01 решение уравнения (4.9) может принимать любое значение на луче [2,054; + ), при  =0,005 - любое значение в отрезке [2,170; 2,576].
	При использовании любого другого расстояния между функциями распределения выводы о неустойчивости правил отбраковки также справедливы. Отметим, что проведенные рассмотрения выполнены в рамках «общей схемы устойчивости» (см. главу 14.6).
	Рассмотренные примеры показывают, что при конкретном значении = 0,01 в неравенстве (4.8) весьма неустойчивы как уровни значимости при фиксированном правиле отбраковки, так и параметр d правила отбраковки при фиксированном уровне значимости. Обсудим, насколько реалистично определение функции распределения с точностью 
	Есть два подхода к определению функции распределения результатов наблюдений: эвристический подбор с последующей проверкой с помощью критериев согласия и вывод из некоторой вероятностной модели. 
	Пусть с помощью критерия согласия Колмогорова проверяется гипотеза о том, что выборка взята из распределения F. Пусть функции распределения F и G удовлетворяют соотношению (4.8). Пусть на самом деле выборка взята из распределения G, а не F. При каких  не удастся различить F и G? Для определенности, при каких  гипотеза согласия с F будет приниматься не менее чем в 50% случаев?
	Критерий согласия Колмогорова основан на статистике
	(4.10)
где расстояние  между функциями распределения определено выше в формуле (4.8); H - та функция распределения, согласие с которой проверяется, а Fn - эмпирическая функция распределения (т.е. Fn(х) равно доле наблюдений, меньших х, в выборке объема n). Как показал А.Н. Колмогоров в 1933 г., функция распределения случайной величины  при росте объема выборки n сходится к некоторой функции распределения К(х), которую ныне называют функцией Колмогорова. При этом К(1,36)= 0,95 и К(0,83)=0,50.
	Поскольку выборка взята из распределения G, то с вероятностью 0,50
		(4.11)
(при больших n). 
	Тогда для рассматриваемой выборки с учетом неравенства (4.8) и неравенства треугольника для расстояния Колмогорова с учетом симметричности этого расстояния имеем 

Если

т.е.
		(4.12)
то, согласно формуле (4.10), гипотеза согласия принимается (на уровне значимости 0,95) по крайней мере с той же вероятностью, с которой выполнено неравенство (4.11), т.е. с вероятностью не менее 0,50. Для = 0,01 это условие выполняется при n < 2809. Таким образом, для определения функции распределения с точностью  с помощью критерия согласия Колмогорова необходимо несколько тысяч наблюдений, что для большинства задач прикладной статистики нереально. 
	При втором из названных выше подходов к определению функции распределения ее конкретный вид выводится из некоторой системы аксиом, в частности, из некоторой модели порождения соответствующей случайной величины. Например, из модели суммирования вытекает нормальное распределение. А из мультипликативной модели (т.е. модели перемножения) - логарифмически нормальное распределение. Как правило, при выводе используется предельный переход. Так, из Центральной предельной теоремы теории вероятностей вытекает, что сумма независимых случайных величин может быть приближена нормальным распределением. Однако более детальный анализ, в частности, с помощью неравенства Берри-Эссеена (см. раздел 2.1) показывает, что для гарантированного достижения точности  необходимо более полутора тысяч слагаемых. Такого количества слагаемых реально, конечно, указать почти никогда нельзя. Это означает, что при решении практических статистических задач теория дает возможность лишь сформулировать гипотезу о виде функции распределения, а проверять ее надо с помощью анализа реальной выборки объема, как показано выше, не менее нескольких тысяч. 
	Таким образом, в большинстве реальных ситуаций определить функцию распределения с точностью  невозможно.
	Итак, показано, что правила отбраковки, основанные на использовании конкретной функции распределения, являются крайне неустойчивыми к отклонениям от нее распределения элементов выборки, а гарантировать отсутствие подобных отклонений почти всегда невозможно. Поэтому отбраковка по классическим правилам математической статистики [3] не является научно обоснованной, особенно при больших объемах выборок. Указанные правила целесообразно применять лишь для выявления «подозрительных» наблюдений, вопрос об отбраковке которых должен решаться из соображений соответствующей предметной области, а не из формально-математических соображений. 
	Выше для простоты изложения рассмотрен лишь случай полностью известного распределения F, для которого изучено правило отбраковки, заданное формулами (4.5) и (4.6). Аналогичные выводы о крайней неустойчивости правил отбраковки справедливы, если «истинное распределение» принадлежит какому-либо параметрическому семейству, например, нормальному, Вейбулла-Гнеденко, гамма.
	Параметрическим методам отбраковки, основанным на моделях тех или иных параметрических семейств распределений, посвящены многочисленные книги и статьи. Приходится признать, что они имеют в основном внутриматематический интерес. При обработке реальных данных следует применять устойчивые методы (см. разделы 3.4 и 14.6). Прежде всего можно рекомендовать непараметрические методы, а среди них – ранговые (т.е. инвариантные в порядковой шкале).

4.3. Предельная теория непараметрических критериев

	В прикладной статистике широко используются статистики типа омега-квадрат и типа Колмогорова-Смирнова. Они применяются для проверки согласия с фиксированным распределением или семейством распределений, для проверки однородности двух выборок, симметрии распределения относительно 0, при оценивании условной плотности и регрессии в пространствах произвольной природы и т.д. 
	Статистики интегрального типа и их асимптотика. Рассмотрим статистики интегрального типа
,		(4.13)
где Х – некоторое пространство, по которому происходит интегрирование (например, X = [0; 1], X = R1 или X = Rk). Здесь {α} – направленное множество, переход к пределу по которому обозначен как α→∞ (см. главу 14). 
	Случайные функции fα: X×Ω → Y обычно принимают значения, являющиеся числами. Но иногда рассматривают и постановки, в которых У = Rk или У – банахово пространство (т.е. полное нормированное пространство [1]). Наконец, Fα(x,ω) – случайная функция распределения или случайная вероятностная мера; в последнем случае используют также обозначение dFα(x,ω)= Fα(dx,ω).
	Предполагаются выполненными необходимые для корректности внутриматематические предположения измеримости, например, сформулированные в [1].
	Пример 1. Рассмотрим критерий Лемана – Розенблатта, т.е. критерий типа омега-квадрат для проверки однородности двух независимых выборок (см. главу 5). Его статистика имеет вид:
A = Fm(x) – Gn(x))2dHm+n(x) ,
где Fm(x) – эмпирическая функция распределения, построенная по первой выборке объема m, Gn(x)) - эмпирическая функция распределения, построенная по второй выборке объема n, а Hm+n(x) – эмпирическая функция распределения, построенная по объединенной выборке объема m+n. Легко видеть, что
Hm+n(x) = Fm(x) + Gn(x).
	Ясно, что статистика А имеет вид (4.13). При этом х – действительное число, Х = У = R1, в роли α выступает пара (m, n), и α→∞ означает, что min(m, n) → ∞. Далее, 
fα(x,ω) =.
Наконец, Fα(x,ω) = Hm+n(x).
	Теперь обсудим асимптотическое поведение функций fα(x,ω) и Fα(x,ω), с помощью которых определяется статистика А. Ограничимся случаем, когда справедлива гипотеза однородности, функции распределения, соответствующие генеральным совокупностям, из которых взяты выборки, совпадают. Их общую функцию распределения обозначим F(x). Она предполагается непрерывной. 
	Введем в рассмотрение выборочные процессы
.
Нетрудно проверить, что
.
	Сделаем замену переменной t = F(x). Тогда выборочные процессы переходят в соответствующие эмпирические (см. главу 14):
.
Конечномерные распределения этого процесса, т.е. распределения случайных векторов

для всех возможных наборов (t1, t2, … , tk), сходятся к конечномерным распределениям квадрата броуновского моста ξ2(t). В соответствии с разделом 14.5 рассматриваемая сходимость по распределению обозначается так:
.		(4.14)
	Нетрудно видеть, что 
Fα(x,ω) = Hm+n(x) → F(x)
при α→∞. С помощью замены переменной t = F(x) получаем, что 
Fα(F-1(t),ω) = Hm+n(F-1(t)) → t		(4.15)
при α→∞. Из соотношений (4.14) и (4.15) хотелось бы сделать вывод, что в случае статистики Лемана - Розенблатта типа омега-квадрат 
,
т.е. предельным распределением этой статистики является классическое распределение омега-квадрат [3], найденное как предельное для одновыборочной статистики критерия согласия омега-квадрат Крамера-Мизеса-Смирнова.
	Действительно, сформулированное утверждение справедливо. Однако доказательство нетривиально. 
	Так, может показаться очевидным следующее утверждение.
	Утверждение 1. Пусть f: [0; 1] → R1 – ограниченная функция, Gn(x) и G(x) – функции распределения, Gn(0) = G(0) =0, Gn(1) = G(1) = 1, причем Gn(x) → G(x) при всех х. Тогда
.		(4.16)
	Это утверждение неверно. Действительно, пусть f(x) = 1, если х рационально, и f(x) = 0, если х иррационально, G(x) = x, а Gn(x) имеет скачки величиной 2-n в точках m/2n, m = 1, 2, … , 2n при всех n =1, 2, … Тогда Gn(x) → G(x) при всех х, однако

при всех n = 1, 2, … Следовательно, вопреки сформулированному выше утверждению 1, 
,
т.е. соотношение (4.16) неверно.
	Итак, сформулируем проблему. Пусть известно, что последовательность случайных функций fα(x, ω) сходится по распределению при α→∞ к случайной функции f(x,ω). Пусть последовательность случайных мер Fα(A,ω) сходится по распределению к вероятностной мере F(A) при α→∞. Если речь идет о конечномерном пространстве и меры задаются функциями распределения, то сходимость Fα(х,ω) к F(х) должна иметь место во всех точках непрерывности F(х). В каких случаях можно утверждать, что при α→∞ справедлив предельный переход    
?
Выше показано, что, например, ограниченности fα(x, ω) для этого недостаточно.
	Метод аппроксимации ступенчатыми функциями. Пусть T = {С1, С2, … , Сk} – разбиение пространства Х на непересекающиеся подмножества. Пусть в каждом элементе Сj разбиения T выделена точка xj, j = 1, 2, … , k. На множестве функций f: X → Y введем оператор AT: если xСj, то
ATf(x) = f(xj), j = 1, 2, … . k.		(4.17)
Тогда ATf – аппроксимация функции f ступенчатыми (кусочно-постоянными) функциями. 
	Пусть fα(x,ω) – последовательность случайных функций на Х, а К(∙) – функционал на множестве всех возможных их траекторий как функций от х. Для изучения распределения К(fα) методом аппроксимации ступенчатыми функциями используют разложение
К(fα) = К(АТfα) + {К(fα) - К(АТfα)}.		(4.18)
Согласно (4.17) распределение первого слагаемого в (4.18) определяется конечномерным распределением случайного элемента, а именно, распределением вектора 
(fα(x1,ω), fα(x2,ω), …  fα(xk,ω)).		(4.19)
	В обычных постановках предельной теории непараметрических критериев распределение вектора (4.19) сходится при α→∞ к соответствующему конечномерному распределению предельной случайной функции f(x,ω), т.е. к распределению случайного вектора 
(f(x1,ω), f(x2,ω), …  f(xk,ω)).		(4.20)
В соответствии с теорией наследования сходимости (глава 14) при слабых условиях на функционал К(∙) из сходимости по распределению вектора (4.19) к вектору (4.20) следует сходимость по распределению К(АТfα) к К(АТf). 
	Используя аналогичное (4.18) разложение
К(f) = К(АТf) + {К(f) - К(АТf)},		(4.21)
можно устанавливать сходимость по распределению К(fα) к К(f) при α→∞ в два этапа: сначала выбрать разбиение Т так, чтобы вторые слагаемые в правых частях соотношений (4.18) и (4.21) были малы, а затем при фиксированном операторе АТ воспользоваться сходимостью по распределению К(АТfα) к К(АТf). 
	Рассмотрим простой пример применения метода аппроксимации ступенчатыми функциями.
	Обобщение теоремы Хелли. Пусть f: [0; 1] → R1 – измеримая функция, Fn(x) – функции распределений, сосредоточенных на отрезке [0; 1]. Пусть Fn(x) сходятся в основном к функции распределения F(x), т.е.
		(4.22)
для всех х, являющихся точками непрерывности F(x).
	Утверждение 2. Если f(x) – непрерывная функция, то
		(4.23)
(рассматриваются интегралы Лебега-Стилтьеса).
	Утверждение 2 известно в литературе как первая теорема Хелли (А.Н. Колмогоров, С.В. Фомин), вторая теорема Хелли (Б.В. Гнеденко), лемма Хелли-Брея (М. Лоэв).
	Естественно поставить вопрос: при каких f из (4.22) следует (4.23)? Необходимо ввести условия и на Fn: если Fn ≡ F, то соотношение (4.23) верно для любой измеримой функции f, для которой интеграл в (4.23) существует. Поэтому рассмотрим следующую постановку.
	Постановка 1. Пусть функция f такова, что для любой последовательности Fn, удовлетворяющей (4.22), справедливо (4.23). Что можно сказать о функции f?
	Нами найдены следующие необходимые и достаточные условия на функцию f.
	Теорема 1. Пусть ограниченная на [0; 1] функция f интегрируема по Риману-Стилтьесу по функции распределения F(x). Тогда для любой последовательности функций распределения Fn, сходящейся в основном к F, имеет место предельный переход (4.23).
	Теорема 2. Пусть функция f не интегрируема по Риману-Стилтьесу по функции распределения F(x). Тогда существует последовательность функций распределения Fn, сходящаяся в основном к F, для которой соотношение (4.23) не выполнено. 
	Теоремы 1 и 2 в совокупности дают необходимые и достаточные условия для f в постановке 1. А именно, необходимо и достаточно, чтобы ограниченная на [0; 1] функция f была интегрируема по Риману-Стилтьесу по F. 
	Напомним определение интегрируемости функции f по Риману-Стилтьесу по функции распределения F. Рассмотрим разбиение T = {С1, С2, … , Сk}, где
Сi = [yi-1, yi), i = 1, 2, …, m – 1, Сm = [ym-1, ym], 	(4.24)
0 = y0 < y1 < y2 <…< ym = 1.
Выберем в Сi произвольную точку xi, i = 1, 2, …, m, и составим сумму 
.
Если при max(yi – yi-1) → 0 эти суммы стремятся к некоторому пределу (не зависящему ни от способа дробления отрезка [0; 1], ни от выбора точек xi  в каждом из элементов разбиения), то этот предел называется интегралом Римана-Стилтьеса от функции f по функции F по отрезку [0; 1] и обозначается символом, приведенным в правой части равенства (4.23).
	Рассмотрим суммы Дарбу-Стилтьеса

где
.
Ясно, что 
SH(T) < S(T) < SB(T).
Необходимым и достаточным условием интегрируемости по Риману-Стилтьесу является следующее: для любой последовательности разбиений Tk, k = 1, 2, 3, … вида (4.24) такой, что max(yi – yi-1) → 0 при k→∞, имеем
.		(4.25)
	Напомним, что колебанием δ(f, B) функции f на множестве B называется δ(f, B) = sup{|f(x) – f(y)|, xB, yB}. Поскольку 
δ(f, Сi) = Mi – mi,
то условие (4.25) можно записать в виде
. 		(4.26)
Условие (4.26), допускающее обобщение с Х = [0; 1] и f: [0; 1] → R1 на X и f более общего вида, и будем использовать при доказательстве теорем 1 и 2.
	Доказательство теоремы 1. Согласно методу аппроксимации ступенчатыми функциями рассмотрим оператор АТ. Как легко проверить, имеет место разложение
.	(4.27)
	Поскольку
|f(x) - ATf(x)| < δ(f, Xi),  xСi, 
то первое слагаемое в правой части (4.27) не превосходит
,		(4.28)
а второе не превосходит 
.
Согласно определению оператора АТ третье слагаемое в (4.27) имеет вид
.
Очевидно, оно не превосходит по модулю

(здесь используется ограниченность f на X).
	Согласно (4.28) первое слагаемое в правой части (4.27) не превосходит 
.
Поскольку
,
то первое слагаемое в правой части (4.27) не превосходит 
.
	Из оценок, относящихся к трем слагаемым в разложении (4.27), следует, что 
.		(4.29)
	Используя оценку (4.29), докажем, что βn → 0 при n → ∞. Пусть дано ε > 0. Согласно условию интегрируемости функции f по Риману-Стилтьесу, т.е. условию (4.26), можно указать разбиение T = T(ε) такое, что 
,		(4.30)
и в точках yi, i = 1, 2, …, m - 1 (см. (4.24)), функция F непрерывна. 
	Поскольку 
Fn(Xi) = Fn(yi) - Fn(yi-1),
то из (4.22) следует, что существует число n = n(ε) такое, что при n > n(ε) справедливо неравенство
.	(4.31)
Из (4.29), (4.30) и (4.31) следует, что при n > n(ε) справедливо неравенство
,
что и требовалось доказать.
	Обсудим условие ограниченности f. Если оно не выполнено, то из (4.22) не всегда следует (4.23).
	Пример 2. Пусть f(x) = 1/x при x > 0 и f(0)=0. Пусть F(0,5) = 0, т.е. предельное распределение сосредоточено на [1/2; 1]. Пусть распределение Fn на [0; 1/2) имеет единственный атом в точке x = 1/n величиной n-1/2, а на [1/2; 1] справедливо (4.22). Тогда по причинам, изложенным при доказательстве теоремы 1,
,
однако
,
т.е. соотношение (4.23) не выполнено.
	Условие ограниченности подынтегральной функции f можно заменить на условие строгого возрастания функции распределения F. 
	Лемма. Пусть функции распределения F всюду строго возрастает, т.е. из x1 < x2 вытекает F(x1) < F(x2). Пусть функция f интегрируема по Риману-Стилтьесу по F, т.е. выполнено (4.26). Тогда функция f ограничена. 
	Доказательство. Рассмотрим точки 0 = y0 < y1 < y2 <…< y2m = 1 и два разбиения
.
Тогда для любых двух точек х и х′ можно указать конечную последовательность точек x1 = x, x2, x3, …, xs, xs+1 = x′ такую, что любые две соседние точки xi, xi+1, i = 1, 2, …, s, одновременно принадлежат некоторому элементу Ci разбиения T1 или разбиения T2, причем Сi ≠ Сj при i ≠ j. Действительно, пусть . Пусть для определенности q > p. Тогда можно положить x2 = yp+1, x3 = yp+2, …, xs = yq. Поскольку среди элементов разбиений Т1 и Т2 есть С1 = [yp; yp+2), то . Далее, , и т.д.
	Из указанных выше свойств последовательности x1 = x, x2, x3, …, xs, xs+1 = x′ следует, что
.
Пусть теперь число max(yi – yi-2) настолько мало, что согласно (4.26)
.
Тогда согласно двум последним соотношениям
,
что и доказывает лемму.
	Доказательство теоремы 2. Пусть условие (4.26) не выполнено, т.е. существуют число γ > 0 и последовательность разбиений Tn, n = 1, 2, …, такие, что max(yi – yi-1) → 0 при n→∞ и при всех n
.		(4.32)
Для доказательства теоремы построим две последовательности функций распределения F1n и F2n, n = 1, 2, …, для которых выполнено (4.22), но последовательность

не стремится к 0 при n → ∞. Тогда (4.23) не выполнено хотя бы для одной из последовательностей F1n и F2n.
	Для любого С – элемента некоторого разбиения Т – можно указать, как вытекает из определения δ(f, C), точки x1(C) и x2(C) такие, что
f (x1(C)) - f(x2(C)) > Ѕ δ(f, C).		(4.33)
	Построим F1n и F2n следующим образом. Пусть F1n(С) = F2n(С) = F(С) для любого С из Tn. При этом F1n имеет в С один атом в точке x1(C) величиной F(С), а F2n имеет в С также один атом в точке x2(C) той же величины F(С). Другими словами, распределение F1n в С сосредоточено в одной точке, а именно, в x1(C), а распределение F2n сосредоточено в x2(C). Тогда
.		(4.34)
Из (4.32), (4.33) и (4.34) следует, что 
.
	Остается показать, что для последовательностей функций распределения F1n и F2n выполнено (4.22). Пусть х – точка непрерывности F. Пусть
y1(x, T) = max{ykn: ykn < x}, y2(x, T) = min{ ykn: ykn > x}, 
где ykn – точки, определяющие разбиения Tn согласно (4.24). В соответствии с определением Fin
Fin(yj(x, Tn))= F(yj(x, Tn)), i = 1, 2, j = 1, 2,
а потому
|Fin(x) – F(x)| < F(y2(x, Tn)) - F(y1(x, Tn)), i = 1, 2.
В силу условия max(ykn – y(k-1)n) → 0 и непрерывности F в точке x правая часть последнего соотношения стремится к 0 при n → ∞, что и заканчивает доказательство теоремы 2. 
	Теоремы 1 и 2 демонстрируют основные идеи предельной теории статистик интегрального типа и непараметрических критериев в целом. Как показывают эти теоремы, основную роль в рассматриваемой теории играет предельное соотношение (4.26). Отметим, что если δ(f, Tn) → 0 при n → ∞, то (4.26) справедливо, но, вообще говоря, не наоборот. 
	Естественно возникает еще ряд постановок. Пусть (4.26) выполнено для f1 и f2. При каких функциях h это соотношение выполнено для h(x, f1(x), f2(x))? 
	В прикладной статистике вместо f(x) рассматривают fα(x, ω) и f(x, ω), а вместо интегрирования по функциям распределения Fn(x) – интегрирование по случайным мерам Fα(ω). Как меняются формулировки в связи с такой заменой? 
	В связи со слабой сходимостью (т.е. сходимостью по распределению) ATfα к AT и переходом от fα(x, ω) к hα(x, f1α(x, ω), f2α(x, ω)) возникает следующая постановка. Пусть последовательность случайных элементов κα слабо сходится к случайному элементу κ при α→∞. Когда распределения случайных элементов gα(κα) сближаются с распределениями случайных элементов gα(κ)? Полным ответом на последний вопрос являются необходимые и достаточные условия наследования сходимости. Они приведены в главе 14.
	Основные результаты. Наиболее общая теорема типа теоремы 1 выглядит так.
	Теорема 3. Пусть существует последовательность разбиений Tn, n = 1, 2, …, такая, что при n →∞ и α→∞
.		(4.35)
Пусть для любого С, входящего хотя бы в одно из разбиений Tn,
Fα(C, ω) → F(C)		(4.36)
при α→∞ (сходимость по вероятности). Пусть fα асимптотически ограничены по вероятности при α→∞. Тогда 
		(4.37)
при α→∞ (сходимость по вероятности).
	Как известно, полное сепарабельное метрическое пространство называется польским. Это понятие понадобится для формулировки аналога теоремы 2.
	Теорема 4. Пусть Х – польское пространство, У конечномерно, существует измельчающаяся последовательность Tn разбиений, для которой соотношение (4.35) не выполнено. Тогда существует удовлетворяющая (4.36) последовательность Fα, для которой соотношение (4.37) неверно, хотя Fα слабо сходится к F при α→∞.
	Условие (4.35) естественно назвать условием римановости, поскольку в случае, рассмотренном в теореме 1, оно является условием интегрируемости по Риману-Стилтьесу. Рассмотрим наследуемость римановости при переходе от f1α(x, ω) со значениями в У1 и f2α(x, ω) со значениями в У2, удовлетворяющих (4.35), к hα(x, f1α(x, ω), f2α(x, ω)) со значениями в У3.
	Положим
,
где ||∙||k – норма (т.е. длина вектора) в пространстве Yk, k = 1, 2. Рассмотрим также множества

и функции
.
Наконец, понадобится измеритель колеблемости 

и множество
.
	Теорема 5. Пусть hα асимптотически (при α→∞) ограничены на Z(a) при любом положительном a, функции f1α и f2α асимптотически ограничены по вероятности и удовлетворяют условию (4.35). Пусть для участвующей в (4.35) последовательности Tn
c(hα, Tn, a, ε) → 0		(4.38)
при α→∞, n→∞, ε→ 0 и любом положительном a. Тогда f3α(x, ω) = hα(x, f1α(x, ω), f2α(x, ω)) удовлетворяют условию (4.35) и асимптотически ограничены по вероятности. 
	Теорема 6. Пусть условие (4.38) не выполнено для hα. Тогда существуют детерминированные ограниченные функции f1α и f2α такие, что соотношение (4.35) выполнено для f1α и f2α и не выполнено для f3α.
	Пример 3. Пусть X = [0; 1]k, пространства Y1 и Y2 конечномерны, функция hα ≡ h(x, y1, y2) непрерывна. Тогда условие (4.38) выполнено.
	С помощью теорем 3 и 5 и результатов о наследовании сходимости можно изучить асимптотическое поведение статистик интегрального типа

со значениями в банаховом пространстве У. 
	Теорема 7. Пусть для некоторой последовательности Tn разбиений Х справедливы соотношения (4.35) для f1α и f2α и (4.36) для Fα. Пусть последовательность функций hα удовлетворяет условию в теореме 5, конечномерные распределения (f1α(x, ω), f2α(x, ω)) слабо сходятся к конечномерным распределениям (f1(x, ω), f2(x, ω)), причем для f1 и f2 справедливо соотношение (4.35). Тогда
,
где L – расстояние Прохорова (см. раздел 14.3),
.
	Теорема 7 дает общий метод получения асимптотических распределений статистик интегрального типа. Важно, что соотношение (4.35) выполнено для эмпирического процесса и для процессов, связанных с оцениванием параметров при проверке согласия [1]. 
	Один из выводов общей теории: в качестве Fα можно использовать практически любую состоятельную оценку истинной функции распределения. Этот вывод использовался при построении критерия типа омега-квадрат для проверки симметрии распределения относительно 0 и обнаружения различий в связанных выборках (глава 5).
	Асимптотическое поведение критериев типа Колмогорова может быть получено с помощью описанного выше метода аппроксимации ступенчатыми функциями. Этот метод не требует обращения к теории сходимости вероятностных мер в функциональных пространствах. Для критериев Колмогорова и Смирнова достаточно использовать лишь свойства эмпирического процесса и броуновского моста. В случае проверки согласия добавляется необходимость изучения еще одного  случайного процесса. Он является разностью между двумя функциями распределения. Одна - функция распределения элементов выборки. Вторая - член параметрического семейства распределений, полученный путем подстановки оценок параметров вместо их истинных значений.  

4.4. Метод проверки гипотез по совокупности малых выборок
 
	Одна из областей применения прикладной статистики – статистические методы управления качеством продукции (см. главу 10 настоящего учебника). К ним относится статистический приемочный контроль, в котором по результатам испытаний элементов выборки делается вывод о качестве партии продукции. В простейшем варианте проводится контроль по альтернативному признаку, при котором возможны лишь два результата контроля конкретной единицы продукции – «соответствует требованиям» или «не соответствует требованиям», короче – «да» или «нет». 
	Рассмотрим статистический приемочный контроль по двум альтернативным признакам одновременно. На основе теории люсианов [1] обсудим проблему проверки независимости двух альтернативных признаков. Ее приходится проводить по совокупности малых выборок, т.е. в так называемой асимптотике А.Н.Колмогорова, когда число неизвестных параметров распределения не является постоянным, а растет пропорционально объему данных.
	Испытания по двум альтернативным признакам. При статистическом контроле качества продукции, в частности, при сертификации, чаще всего используют контроль по альтернативным признакам. При этом устанавливается, соответствует ли контролируемый параметр единицы продукции (изделия, детали) заданным в нормативно-технической документации требованиям или не соответствует. Если соответствует - единица продукции признается годной. Примем для определенности, что в этом случае результат контроля кодируется символом 0. Если же не соответствует - единица продукции признается дефектной, а результат контроля кодируется символом 1. 
	Таким образом, в рассматриваемой нами математической модели контроля альтернативный признак - это функция X = X(w), определенная на множестве единиц продукции W = {w} и принимающая два значения 0 и 1. Причем X(w) = 0 означает, что единица продукции w является годной, а X(w) = 1 - что она является дефектной. 
	Методы статистического контроля, в частности, включенные в государственные стандарты и иную нормативно-техническую документацию (НТД), как правило, используют контроль по одному признаку. В НТД указывают правила выбора планов контроля и расчета различных их характеристик, приводят графики оперативных характеристик и т.п.
	Однако на производстве контроль нередко проводится по нескольким альтернативным признакам. Возникает проблема выбора плана контроля и расчета его характеристик. 
	Рассмотрим сначала контроль по двум альтернативным признакам X(w) и Y(w). В вероятностной модели X(w) и Y(w) - случайные величины, принимающие два значения - 0 и 1. Пусть, пользуясь стандартной (для статистических методов управления качеством) терминологией,  
p1 = P(X(w) = 1) 
-  входной уровень дефектности для первого признака, а
p2 = P(Y(w) = 1) 
- для второго. Вероятности результатов контроля по двум признакам одновременно описываются четырьмя числами:
P(X(w) = 0, Y(w) = 0) = p00, P(X(w) = 1, Y(w) = 0) = p10,
P(X(w) = 0, Y(w) = 1) = p01,  P(X(w) = 1, Y(w) = 1) = p11.
При этом справедливы соотношения: 
p00 + p10 + p01 + p11 = 1,   p10  + p11 =  p1,  p01 + p11 = p2.
С прикладной точки зрения наиболее интересна вероятность p00 того, что единица продукции является годной (по всем параметрам), и вероятность ее дефектности (1-p00 ), т.е. входной уровень дефектности для изделия в целом.
	В табл. 4.1 сведены вместе введенные выше вероятности.
 
Таблица 4.1
Вероятности результаты испытаний при контроле
по двум альтернативным признакам
	X=0	X=1	Всего	
Y=0				
Y=1				
Всего			1	

	Есть три важных частных случая - поглощения, несовместности и независимости дефектов. Другими словами, поглощения, несовместности и независимости событий {w: X(w) = 1} и {w: Y(w) = 1}. В случае поглощения одно из этих событий содержит другое, а потому 
p00 = 1 - max(p1 , p2).
В случае несовместности
p00 = 1 - p1  - p2.
В случае независимости
p00   = (1 - p1)(1 - p2) =  1 - p1 - p2 + p1p2.
Очевидно, что вероятность годности изделия всегда заключена между значениями, соответствующими случаям поглощения и несовместности. Кроме того, известно, что при большом числе признаков и малой вероятности дефектности по каждому из них случаи поглощения и независимости дают (в асимптотике) крайние значения для вероятности годности изделия, т.е. формулы, соответствующие независимости и несовместности, асимптотически совпадают. Причина этого явления в том, что при малости p1 и p2 их произведение p1p2 является бесконечно малой более высокого порядка по сравнения с p1 и p2.
	Рассмотрим несколько примеров. Пусть некоторая продукция, скажем, гвозди, контролируются по двум альтернативным признакам, для определенности, по весу и длине. Пусть результаты контроля 1000 единиц продукции представлены в табл. 4.2. 

Таблица 4.2 
Результаты 1000 испытаний по двум
альтернативным признакам (случай поглощения)
	Х=0	Х=1	Всего	
У=0	952	0	952	
У=1	0	48	48	
Всего	952	48	1000	

	Судя по данным табл. 4.2, дефекты всегда встречаются парами - если есть один, то есть и другой. Входной уровень дефектности как по каждому показателю, так и по обоим вместе - один и тот же, а именно, 0,048. Получив по результатам статистического наблюдения данные типа приведенных в табл. 4.2, целесообразно перейти к контролю только одного показателя, а не двух. Каково именно? Видимо, того, контроль которого дешевле. Однако совсем иная ситуация в случае несовместности дефектов (табл. 4.3).

Таблица 4.3
Результаты 1000 испытаний по двум
альтернативным признакам (случай несовместности )
	Х=0	Х=1	Всего	
У=0	904	48	952	
У=1	48	0	48	
Всего	952	48	1000	

	Судя по данным табл. 4.3, дефекты всегда встречаются поодиночке  - если есть один, то другого нет. В результате входной уровень дефектности по каждому признаку по-прежнему равен 0,048, в то время как доля дефектных изделий (т.е. имеющих хотя бы один дефект) вдвое выше, т.е. входной уровень дефектности для изделия в целом равен 0,096.
	Случай независимости результатов контроля по двум независимым признакам (табл. 4.4) лежит между крайними случаями поглощения и несовместности. Независимость альтернативных признаков обосновывается путем статистической проверки с помощью описанного ниже критерия n1/2V. 

Таблица 4.4 
Результаты 1000 испытаний по двум
альтернативным признакам (случай независимости)
	Х=0	Х=1	Всего	
У=0	909	43	952	
У=1	43	5	48	
Всего	952	48	1000	

	Согласно данным табл. 4.4, входной уровень дефектности для каждого из двух альтернативных признаков по-прежнему равен 0,048, в то время как для изделий в целом он равен 0,091, т.е. на 5,2% меньше, чем в случае несовместности, и на 89,6% больше, чем в случае поглощения.
	Проблема в том, что таблицы и стандарты по статистическому приемочному контролю относятся обычно к случаю одного контролируемого параметра. А как быть, если контролируемых параметров несколько? Приведенные выше примеры показывают, что входной уровень дефектности изделия в целом не определяется однозначно по входным уровням дефектности отдельных его параметров.
	Гипотеза независимости. Как должны соотноситься характеристики планов контроля по отдельным признакам с характеристиками плана контроля по двум (или многим) признакам одновременно? Рассмотрим распространенную рекомендацию - складывать уровни дефектности, т.е. считать, что уровень дефектности изделия в целом равен сумме уровней дефектности по отдельным его параметрам. Она, очевидно, опирается на гипотезу несовместности дефектов, а потому во многих случаях преувеличивает дефектность, следовательно, ведет к использованию излишне жестких планов контроля, что экономически невыгодно.
	Зная специфику применяемых технологических процессов, в ряде конкретных случаев можно предположить, что дефекты по различным признакам возникают независимо друг от друга. Это предположение необходимо обосновывать по статистическим данным. Если же оно обосновано, следует рассчитывать входной уровень дефектности по формуле
1 - p00 = p1 + p2 - p1p2,
 соответствующей независимости признаков.
	 Итак, необходимо уметь проверять по статистическим данным гипотезу независимости двух альтернативных признаков. Речь идет о статистической проверке нулевой гипотезы
Н0:  p11 = p1 p2 		 (4.39) 
(что эквивалентно проверке равенства p00 = (1 - p1)(1 - p2)). Нетрудно проверить, что гипотеза о справедливости равенства (4.39) эквивалентна гипотезе
 Н0 : p00 p11 - p10 p01 = 0. 		(4.40)
	В простейшем случае предполагается, что проведено n независимых испытаний (Xi , Yi), i = 1, 2, ..., n, в каждом из которых проконтролированы два альтернативных признака, а вероятности результатов контроля не меняются от испытания к испытанию. Общий вид статистических данных приведен в табл. 4.5. 

Таблица 4.5
Общий вид результатов контроля
по двум альтернативным признакам
	Х=0	Х=1	Всего	
У=0	a	b	a+b	
У=1	c	d	c+d	
Всего	a+c	b+d	n	

	В табл. 4.5 величина a - число испытаний, в которых (Xi , Yi) = (0,0), величина b - число испытаний, в которых (Xi , Yi) = (1,0), и т.д.
	Случайный вектор (a, b, c, d) имеет мультиномиальное распределение с числом испытаний n и вектором вероятностей исходов (p00, p10, p01, p11). Состоятельными оценками этих вероятностей являются дроби a/n, b/n, c/n, d/n соответственно. Следовательно, критерий проверки гипотезы (4.40) может быть основан на статистике 
Z = ad - bc.		(4.41)
Как вытекает из известной формулы для ковариаций мультиномиального вектора (см., например, формулу (6.3.5) в учебнике С.Уилкса [5] на с.153),
М(Z) = n (p10 p01  - p00 p11), 		(4.42)
что равно 0 при справедливости гипотезы независимости (4.40).
	Связь между переменными X и Y обычно измеряется коэффициентом, отличающимся от Z нормирующим множителем: 
V = (ad - bc){(a + b)(a + c)(b + d)(c + d)}-1/2 
(см. классическую монографию М. Дж. Кендалла и А. Стьюарта [6, с.723]). При справедливости гипотезы Н0 и больших n случайная величина nV2 имеет хи-квадрат распределение с одной степенью свободы, а n1/2V имеет стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1 (см. [6, с.736]). Значение n1/2V для данных табл. 4.4 равно 1,866, т.е на уровне значимости 0,05 гипотезу независимости следует принять.
	Пусть проведено 100 испытаний, результаты которых описаны в табл. 4.6. Тогда
V = (50 . 20 - 10 . 20) (60 . 70 . 30 . 40)-1/2 = 
= (1000 - 200) . 5940000-1/2 = 800 / 2245 = 0,35635,
n1/2V = 3,5635  .

Таблица 4.6
Результаты 100 испытаний по двум альтернативным признакам
	Х=0	Х=1	Всего	
У=0	50	10	60	
У=1	20	20	40	
Всего	70	30	100	

	Поскольку полученное значение n1/2V превышает критическое значение при любом применяемом в статистике уровне значимости, то гипотезу о независимости признаков необходимо отклонить. 
	Проверка гипотез по совокупности малых выборок. К сожалению, приведенный простой метод годится не всегда. При статистическом анализе реальных данных возникают проблемы, связанные с отсутствием достаточно больших однородных выборок, т.е. выборок, в которых постоянны параметры вероятностных распределений. Реально единицы продукции представляются на контроль партиями. Из каждой партии контролируются лишь несколько изделий, т.е. малая выборка. От партии к партии меняются параметры p00, p10, p01, p11, описывающие уровень дефектности. Поэтому необходимы статистические методы, позволяющие проверять гипотезу независимости признаков по совокупности малых выборок. Построим один из возможных методов.
	Рассмотрим вероятностную модель совокупности k малых выборок объемов n1 , n2 ,..., nk соответственно. Пусть j -я выборка (Xjt , Yjt), t = 1, 2,..., nj , имеет распределение, задаваемое вектором параметров (p00j, p10j, p01j, p11j) в соответствии с ранее введенными обозначениями, j = 1,2,...,k . Будем проверять гипотезу
Н0: p11j = (p10j + p11j) (p01j + p11j), j = 1,2,...,k,  		(4.43)
или в эквивалентной формулировке 
 Н0:  p11j p00j -  p10j p01j , j = 1,2,...,k .			(4.44)
	Основная идея состоит в нахождении асимптотического распределения статистики типа n1/2V при росте числа k малых выборок, а именно, статистики
 S = g1 Z1 +  g2 Z2 + ... +  gk Zk ,		(4.45)
где Z1, Z2, ..., Zk - статистики, рассчитанные по формуле (4.41) для каждой из k выборок, т.е. Zj = ajdj – bjcj , j = 1, 2, ..., k, а g1 , g2 , ... , gk - некоторые весовые коэффициенты, которые, в частности, могут совпадать. Поскольку
М(S) = g1 М(Z1) +  g2 М(Z2) + ... +  gk М(Zk),
то при справедливости гипотезы независимости (4.43) - (4.44) имеем М(S) = 0 согласно соотношению (4.42). Поскольку слагаемые в сумме (4.45) независимы, то при росте k случайная величина S в силу Центральной предельной теоремы является асимптотически нормальной. Дисперсия этой величины равна сумме дисперсий слагаемых:
.	(4.46)
	Для оценивания дисперсии S необходимо использовать несмещенные оценки дисперсий в каждой из k выборок (и в этом одна из основных «изюминок» разбираемого метода). Предположим, что построены статистики Tj такие, что 
М(Tj) = D(Zj) , j = 1, 2, ..., k.		(4.47)
Тогда при некоторых математических «условиях регулярности», на которых нет необходимости здесь останавливаться, несмещенная оценка дисперсии статистики S, имеющая согласно формулам (4.46) и (4.47) вид 
,
в силу закона больших чисел такова, что дробь D(S)/L приближается к 1 при росте числа выборок (сходимость по вероятности). Отсюда следует, что распределение случайной величины Q = SL-1|2 приближается при росте числа выборок к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Следовательно, критерий проверки гипотезы (4.43) - (4.44) независимости признаков, состоящий в том, что при (-1,96) < Q < 1,96 гипотеза принимается, а при Q , выходящих за пределы интервала (-1,96; 1,96), гипотеза отклоняется, имеет уровень значимости, приближающийся к 0,05 при росте числа выборок. Мощность этого критерия зависит от величины М(S)D(S)-1/2 при альтернативной гипотезе.
	Для реализации намеченного плана осталось научиться несмещенно оценивать D(Zj). К сожалению, в литературе по несмещенному оцениванию не рассматривают случай мультиномиального распределения, поэтому кратко опишем процедуру построения несмещенной оценки D(Zj). Поскольку согласно формулам (4.41) и (4.42)
	(4.48)
то для вычисления D(Zj) достаточно найти входящие в правую часть формулы (4.48) начальные смешанные моменты мультиномиального распределения (четвертого порядка). Теоретически это просто - известен вид характеристической функции мультиномиального распределения (см., например, формулу (6.3.4) в монографии [5, с.152]), а начальные смешанные моменты равны значениям ее соответствующих производных в 0, деленным на нужную степень мнимой единицы (формула (5.2.3) в монографии [5, с.131]). Например, с помощью описанной процедуры после некоторых вычислений получаем, что (для упрощения записи здесь и далее опустим индекс j)
		(4.49)
	Формула (4.49) показывает, что начальные смешанные моменты мультиномиального распределения являются многочленами от параметров p11, p00, p10, p01 этого распределения, однако конкретный вид этих многочленов достаточно громоздок, поэтому не будем их здесь выписывать, ограничившись формулой (4.49) в качестве образца. 
	Как вытекает из формул (4.48) и (4.49), для построения несмещенной оценки D(Zj) достаточно научиться несмещенно оценивать произведения типа , где целые неотрицательные числа r, m не превосходят 2. Эта задача решается, начиная с меньших  степеней. Известно, что для ковариации мультиномиального вектора 
М(ad) = - n p00 p11 		(4.50)
(см., например, формулу (6.3.5) в монографии [5, с.153]), а потому несмещенной оценкой для p00p11 является (-ad/n). Далее, поскольку справедлива аналогичная (4.49) формула
, 		(4.51)
то с помощью формулы (4.50) преобразуем формулу (4.51) к виду
,		(4.52)
т.е. несмещенной оценкой  является ad(a+n-1){n(n-1)(n-2)}-1. 
	Следующий шаг - аналогичным образом с помощью формул (4.50) и (4.52) получаем несмещенную оценку для , а затем и для D(Zj). Промежуточные формулы опущены из-за громоздкости. Окончательный результат таков:
.
Как легко видеть, 
,
т.е. в случае одной выборки предлагаемый метод совпадает с классическим. 
	Общая идея рассматриваемого метода проверки гипотез по совокупности малых выборок в том, что подбирается статистика, математическое ожидание которой для каждой малой выборки равно 0 при справедливости проверяемой гипотезы. Затем для каждой выборки строится несмещенная оценка дисперсии этой статистики. Итоговая статистика критерия для проверки гипотезы - это сумма рассматриваемых статистик для всех малых выборок, деленная на квадратный корень из суммы всех несмещенных оценок дисперсий рассматриваемых статистик. При справедливости нулевой гипотезы эта итоговая статистика имеет в асимптотике стандартное нормальное распределение (при выполнении некоторых математических «условий регулярности», которые обычно выполняются при анализе реальных статистических данных).  
	Впервые такой способ проверки гипотез по совокупности малых выборок был предложен в монографии [7, раздел 4.5]. Нестандартность постановки состоит в том, что число неизвестных параметров растет пропорционально объему данных, т.е. имеет место т.н. «асимптотика Колмогорова», или асимптотика растущей размерности. Дальнейшее развитие применительно к данных типа «да» - «нет» (или «годен» - «дефектен») шло в рамках теории люсианов как части статистики объектов нечисловой природы [1]. 

4.5. Проблема множественных проверок статистических гипотез

	Практика применения методов прикладной статистики часто выходит за границы классической математико-статистической теории. В качестве примера рассмотрим множественную проверку статистических гипотез. 
	Базовая теоретическая модель касается проверки одной-единственной статистической гипотезы. На практике же при выполнении того или иного прикладного исследования гипотезы зачастую проверяют неоднократно. При этом, как правило, остается неясным, как влияют результаты предыдущих проверок на характеристики (уровень значимости, мощность) последующих проверок. Есть ли вообще влияние? Как его оценить? Как его учесть при формулировке окончательных выводов?
	Изучены лишь некоторые схемы множественных проверок, например, схема последовательного анализа А. Вальда или схема оценивания степени полинома в регрессии путем последовательной проверки адекватности модели (см. главу 6). В таких исключительных постановках удается рассчитать характеристики статистических процедур, включающих множественные проверки статистических гипотез.
	Однако в большинстве важных для практики случаев статистические свойства процедур анализа данных, основанных на множественных проверках, остаются пока неизвестными. Примерами являются процедуры нахождения информативных подмножеств признаков (коэффициенты для таких и только таких признаков отличны от 0) в регрессионном анализе или выявления отклонений параметров в автоматизированных системах управления. 
	В таких системах происходит слежение за большим числом параметров. Резкое изменение значения параметра свидетельствует об изменении режима работы системы, что, как правило, требует управляющего воздействия. Существует теория для определения границ допустимых колебаний одного или фиксированного числа параметров. Например, можно использовать контрольные карты Шухарта или кумулятивных сумм, а также их многомерные аналоги (см. главу 10 настоящего учебника). В подавляющем большинстве постановок, согласно обычно используемым вероятностным моделям, для каждого параметра, находящемся в стабильном («налаженном») состоянии, существует хотя и малая, но положительная вероятность того, что его значение выйдет за заданные границы. Тогда система зафиксирует резкое изменение значения параметра («ложная разладка»). При достаточно большом числе параметров с вероятностью, близкой к 1, будет обнаружено несколько «случайных сбоев», среди которых могут «затеряться» и реальные отказы подсистем. Можно доказать, что при большом числе параметров имеется два крайних случая - независимых (в совокупности) параметров и функционально связанных  параметров, а для всех остальных систем вероятность обнаружения резкого отклонения хотя бы у одного параметра лежит между соответствующими вероятностями для этих двух крайних случаев.
	Почему трудно изучать статистические процедуры, использующие множественные проверки гипотез? Причина в том, что результаты последовательно проводящихся проверок, как правило, не являются независимыми (в смысле независимости случайных элементов). Более того, последовательность проверок зачастую задается исследователем произвольно.
	Проблема множественных проверок статистических гипотез - часть более общей проблемы «стыковки» (сопряжения, последовательного выполнения) статистических процедур. Дело в том, что каждая процедура может применяться лишь при некоторых условиях, а в результате применения предыдущих процедур эти условия могут нарушаться. Например, часто рекомендуют перед восстановлением зависимости (регрессионным анализом) разбить данные на однородные группы с помощью какого-либо алгоритма классификации, а затем строить зависимости для каждой из выделенных групп отдельно. Здесь идет речь о «стыковке» алгоритмов классификации и регрессии. Как вытекает из рассмотрений статьи [8], попадающие в одну однородную группу результаты наблюдений зависимы и их распределение не является нормальным (гауссовым), поскольку они лежат в ограниченной по некоторым направлениям области, причем границы зависят от всей совокупности результатов наблюдений. При росте объема выборки зависимость уменьшается, но ненормальность остается. Распределение результатов наблюдений, попавших в одну группу, приближается не к нормальному, а к усеченному нормальному. Следовательно, алгоритмами регрессионного анализа, основанными на «нормальной теории», пользоваться некорректно. Целесообразно применять непараметрическую или робастную регрессию.
	Проблема «стыковки» статистических процедур обсуждается давно. По этой проблеме проведен ряд исследований, но окончательных результатов получено не было. По нашему мнению, на скорое решение проблемы «стыковки» рассчитывать нельзя. Возможно, она является столь же «вечной», как и проблема выбора между средним арифметическим и медианой как характеристиками «центра» выборки. 
	Теоретическое исследование является весьма сложным, сколько-нибудь интересные результаты удается получить лишь для отдельных постановок. Поэтому вполне естественно, что многие исследователи применяют метод статистического моделирования на ЭВМ. Однако нельзя забывать о проблеме качества псевдослучайных чисел. Достоинства и недостатки различных алгоритмов получения псевдослучайных чисел много лет обсуждаются в различных изданиях.
	Моделирование мышления статистика-прикладника показывает, насколько мешает устаревшее представление о том, что для проверки гипотез необходимо задавать определенный уровень значимости. Особенно оно мешает, если в дальнейшем понадобятся дальнейшие проверки. Гораздо удобнее использовать «достигаемый уровень значимости», т.е. вероятность того, что статистика критерия покажет большее отклонение от нулевой гипотезы, чем то отклонение, что соответствует имеющимся экспериментальным данным. Если есть желание, можно сравнивать «достигаемый уровень значимости» с заданными значениями 0,05 или 0,01. Так, если «достигаемый уровень значимости» меньше 0,01, то нулевая гипотеза отвергается на уровне значимости 0,01, в противном случае - принимается. Следует рассчитывать «достигаемый уровень значимости» всегда, когда для этого есть вычислительные возможности.
	Переход к «достигаемому уровню значимости» может избавить прикладника от еще одной трудности, связанной с использованием непараметрических критериев. Дело в том, что их распределения, как правило, дискретны, поскольку эти критерии используют только ранги наблюдений. Поэтому обычно невозможно построить критерий с заданным номинальным уровнем значимости - реальный уровень значимости может принимать лишь конечное число значений, среди которых, как правило, нет ни 0,05, ни 0,01, ни других популярных номинальных значений.
	Невозможность построения критических областей критериев с заданными уровнями значимости затрудняет сравнение критериев по мощности, как это продемонстрировано в разделе 5.7 ниже. Есть формальный способ достичь заданного номинального уровня значимости - провести рандомизацию, т.е. при определенном (граничном) значении статистики критерия провести независимый случайный эксперимент, в котором одни исходы (с заданной суммарной вероятностью) приводят к принятию гипотезы, а остальные - к ее отклонению. Однако подобную процедуру рандомизации прикладнику трудно принять - как оправдать то, что одни и те же экспериментальные данные могут быть основанием как для принятия гипотезы, так и для ее отклонения? Вспоминается обложка журнала «Крокодил», на которой один хозяйственник говорит другому: «Бросим монетку. Упадет гербом - будем строить завод, а упадет решкой - нет». Описанная процедура рандомизации имеет практический смысл лишь при массовой рутинной проверке гипотез, например, при статистическом контроле больших выборок изделий или деталей.
	При использовании все еще распространенных критериев Стьюдента, Фишера и других параметрических статистических критериев - свои проблемы. Такие критерии построены исходя из предположения о том, что функции распределения результатов наблюдений входят в определенные параметрические семейства небольшой размерности. Наиболее распространена гипотеза нормальности распределения. Однако давно известно, что подавляющее большинство реальных распределений результатов измерений не являются нормальными. Об этом говорится в классической для инженеров и организаторов производства монографии В.В. Налимова [9], создателя отечественной научной школы в области планирования экспекримента. Ряд недавно полученных конкретных экспериментальных фактов и теоретических соображений, подтверждающих точку зрения В.В. Налимова, рассмотрен в главе 2.1.
	Как же быть? Проверять нормальность распределения своих данных? Но это дело непростое, можно допустить те или иные ошибки, в частности, применяя критерии типа Колмогорова или типа омега-квадрат. Как уже говорилось (в главе 1.2), одна из наиболее распространенных ошибок состоит в том, что в статистики вместо неизвестных параметров подставляют их оценки, но при этом пользуются критическими значениями, рассчитанными для случая, когда параметры полностью известны. Кроме того, для сколько-нибудь надежной проверки нормальности нужны тысячи наблюдений (см. подраздел 2.1). Поэтому в подавляющем большинстве реальных задач нет оснований принимать гипотезу нормальности. В лучшем случае можно говорить о том, что распределение результатов наблюдений мало отличается от нормального.
	Как влияют отклонения от нормальности на свойства статистических процедур? Для разных процедур - разный ответ. Если речь идет об отбраковке выбросов  - влияние отклонений от нормальности настолько велико, что делает процедуру отбраковки с практической точки зрения эвристической, а не научно обоснованной (см. раздел 4.2). Если же речь идет о проверке однородности двух выборок с помощью критерия Стьюдента (при априорном предположении о равенстве дисперсий) или Крамера-Уэлча (при отсутствии такого предположения), то при росте объемов выборок влияние отклонений от нормальности убывает, как это подробно показано в главе 5. Это вытекает из Центральной предельной теоремы. Правда, при этом оказывается, что процентные точки распределения Стьюдента не приносят реальной пользы, достаточно использовать процентные точки предельного нормального распределения. 
	Весьма важна постоянно встающая перед исследователем проблема выбора того или иного статистического критерия для решения конкретной прикладной задачи. Например, как проверять однородность двух независимых выборок числовых результатов наблюдений? Известны параметрические критерии: Стьюдента, Лорда; непараметрические: Крамера-Уэлча, Вилкоксона, Ван-дер-Вардена, Сэвиджа, Мартынова, Смирнова, типа омега-квадрат (Лемана - Розенблатта) и многие другие (см., например, главу 5 и справочник [3]). Какой из них выбрать для конкретных расчетов?
	Некоторые авторы предлагают формировать технологию принятия статистического решения, согласно которой решающее правило формируется на основе комбинации нескольких критериев. Например, технология может предусматривать проведение «голосования»: если из 5 критериев большинство «высказывается» за отклонение гипотезы, то итоговое решение - отвергнуть ее, в противном случае - принять. Однако в таком подходе нет ничего принципиально нового. Просто к уже имеющимся критериям добавляются их комбинации - очередные варианты критериев, тем или иным образом выделяющие критические области в пространствах возможных значений результатов измерений, т.е. попросту увеличивается число рассматриваемых критериев. 
	Итак, имеется некоторая совокупность критериев. У каждого - свой набор значений уровней значимости и мощностей на возможных альтернативах. Математическая статистика демонстрирует в этой ситуации виртуозную математическую технику для анализа частных случаев и полную беспомощность при выдаче практических рекомендаций. Так, оказывается, что практически каждый из известных критериев является оптимальным в том или ином смысле для какого-то набора нулевых гипотез и альтернатив. Математики изучают асимптотическую эффективность в разных смыслах - по Питмену, по Бахадуру и т.д., но - для узкого класса альтернативных гипотез, обычно для альтернативы сдвига. При попытке переноса асимптотических результатов на конечные объемы выборок возникают новые нерешенные проблемы, связанные, в частности, с численным оцениванием скорости сходимости. В целом эта область математической статистики может активно развиваться еще многие десятилетия, выдавая «на гора» превосходные теоремы (которые могут послужить основанием для защит кандидатских и докторских диссертаций, выборов в академики РАН и т.д.), но не давая ничего практике. Хорошо бы, чтобы этот пессимистический прогноз не вполне оправдался!
	С точки зрения прикладной статистики необходимо изучать проблему выбора критерия проверки однородности двух независимых выборок. Такое изучение было проведено, в том числе методом статистических испытаний, и в результате был получен вывод о том, что наиболее целесообразно применять критерий Лемана - Розенблатта типа омега-квадрат (см. главу 5).
	В литературе по прикладным статистическим методам имеется масса ошибочных рекомендаций. Чего стоят хотя бы принципиально неверные государственные стандарты СССР по статистическим методам, а также соответствующие им стандарты СЭВ и ИСО, т.е. Международной организации по стандартизации (о них см. статью [10]). Особо выделяются своим количеством ошибочные рекомендации по применению критерия типа Колмогорова для проверки нормальности. Ошибки есть и в научных статьях, и в нормативных документах (государственных стандартах), и в методических разработках, и даже в вузовских учебниках. К сожалению, нет способа оградить инженера и научного работника, экономиста и менеджера, нуждающихся в применении статистических методов, от литературных источников и нормативно-технических и инструктивно-методических документов с ошибками, неточностями и погрешностями. Единственный способ - либо постоянно поддерживать профессиональные контакты с квалифицированными специалистами по прикладной статистике, либо самому стать таким специалистом. 
	Как оценить достигаемый уровень значимости конкретного критерия, предусматривающего повторные проверки? Сразу ясно, что в большинстве случаев никакая современная теория математической статистики не поможет. Остается использовать современные компьютеры. Методика статистического моделирования может стать ежедневным рабочим инструментом специалиста, занимающегося применением методов анализа данных. Для этого она должна быть реализована в виде соответствующей диалоговой программной системы. Современные персональные компьютеры позволяют проводить статистическое моделирование весьма быстро (за доли секунд). Можно использовать различные модификации бутстрепа - одного  из  вариантов применения статистического моделирования (см. [1]).
	Проведенное обсуждение показывает, как много нерешенных проблем стоит перед специалистом, занимающимся, казалось бы, рутинным применением стандартных статистических процедур.  Теория статистических методов - молодая наука, ее основные проблемы, по нашему мнению, еще не до конца решены. Много работы как в сравнительно новых областях, например, в анализе нечисловых и интервальных данных, так и в классических.

Литература

1. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
2. Большев Л.Н. Избранные труды. Теория вероятностей и математическая статистика. – М.: Наука, 1987. – 286 с.
3. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
4. Артемьев Б.Г., Голубов С.М. Справочное пособие для работников метрологических служб.- М.: Изд-во стандартов, 1982. - 280 с.
5. Уилкс С. Математическая статистика. - М.: Наука, 1967. - 632 с.
6. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 900 с.
7. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.  
8. Орлов А.И. Некоторые вероятностные вопросы теории классификации // Прикладная статистика. / Ученые записки по статистике, т.45. - М.: Наука, 1983. - С.166-179.
9. Налимов В.В. Применение математической статистики при анализе вещества. - М.: Физматгиз, 1960. - 430 с.
10. Орлов А.И. Сертификация и статистические методы (обобщающая статья). // Заводская лаборатория. - 1997. - Т.63. – №З. - С.55-62.

Контрольные вопросы и задачи

1. Сколько выборочных моментов необходимо использовать для проверки согласия с двухпараметрическим семейством функций распределения?
2. Почему методы отбраковки резко выделяющихся результатов наблюдений, основанные на предположении нормальности, нельзя считать научно обоснованными? 
3. Какую роль играет условие интегрируемости по Риману-Стилтьесу в предельной теории статистик интегрального типа?
4. Как проверяют независимость альтернативных признаков с помощью таблиц 2×2?
5. Как влияет предварительное выделение однородных групп на проведение регрессионного анализа?
6. Как повлияет проверка однородности двух совокупностей (с помощью критерия Лемана – Розенблатта) на последующую оценку дисперсии по объединенной выборке (в случае подтверждения однородности)?

Темы докладов, рефератов, исследовательских работ

1. На основе метода моментов разработайте критерий согласия с семейством экспоненциальных распределений.
2. Методы отбраковки выбросов и их анализ с точки зрения теории устойчивости статистических процедур.
3. С помощью метода аппроксимации ступенчатыми функциями найдите асимптотическое распределение статистики Колмогорова.
4. Статистический приемочный контроль по альтернативным признакам.
5. Асимптотика Колмогорова в задачах прикладной статистики.
6. Проблема «стыковки» алгоритмов в технологиях обработки статистических данных.
7. Статистическая теория множественных проверок гипотез о разладке с помощью независимых датчиков.